Лексический анализ

В информатике лексический анализ («токенизация», от англ. tokenizing) — процесс аналитического разбора входной последовательности символов на распознанные группы — лексемы, с целью получения на выходе идентифицированных последовательностей, называемых «токенами» (подобно группировке букв в словах). В простых случаях понятия «лексема» и «токен» идентичны, но более сложные токенизаторы дополнительно классифицируют лексемы по различным типам («идентификатор», «оператор», «часть речи» и т. п.). Лексический анализ используется в компиляторах и интерпретаторах исходного кода языков программирования, и в различных парсерах слов естественных языков.

Как правило, лексический анализ производится с точки зрения определённого формального языка или набора языков. Язык, а точнее его грамматика, задаёт определённый набор лексем, которые могут встретиться на входе процесса.

Традиционно принято организовывать процесс лексического анализа, рассматривая входную последовательность символов как поток символов. При такой организации процесс самостоятельно управляет выборкой отдельных символов из входного потока.

Распознавание лексем в контексте грамматики обычно производится путём их идентификации (или классификации) согласно идентификаторам (или классам) токенов, определяемых грамматикой языка. При этом любая последовательность символов входного потока (лексема), которая согласно грамматике не может быть идентифицирована как токен языка, обычно рассматривается как специальный токен-ошибка.

Каждый токен можно представить в виде структуры, содержащей идентификатор токена (или идентификатор класса токена) и, если нужно, последовательность символов лексемы, выделенной из входного потока (строку, число и т. д.).

Цель такой конвертации обычно состоит в том, чтобы подготовить входную последовательность для другой программы, например для грамматического анализатора, и избавить его от определения лексических подробностей в контекстно-свободной грамматике (что привело бы к усложнению грамматики).

Источник: Википедия

Упоминания в литературе

Против такого формализма протестовал С. Д. Кацнельсон в известной работе «Типология языка и речевое мышление»: «Для понимания сущности грамматики и специфической природы грамматических функций важно еще выяснить, что представляют собой категории, скрытые в значениях слов. Обнаруживаемые компонентным анализом лексических значений скрытые категории даны постоянно в сплаве с вещественными семантическими компонентами… Вопрос о грамматических «значениях» решался в традиционной грамматике применительно к способу выражения. То, что выражается грамматическим показателем, есть грамматическое значение. Такое решение вопроса приводило к тому, что выражаемые в ряде языков формативами половые или возрастные различия признавались грамматическими значениями, а выражаемые словами различия начала или завершения действия… считались неграмматическими. Теперь же всплывает вопрос об определении грамматических содержательных функций изнутри, по типу выполняемой ими функции» (Кацнельсон 2002: 94). Особое значение эта критика имеет в сфере исследования аналитических языков, таких как английский язык, где моделирование видо-временных и падежных отношений осуществляется при помощи специальных слов, а не словоизменительных морфем.

М. В. Сорокина, Учебник по лексикологии, 2014

Для анализа лексических особенностей текстов рекламы введем понятие тезауруса личности, который играет огромную роль в интерпретации сообщения. Отметим, что процесс языковой дифференциации аналогичен процессу социальной дифференциации, но не совпадает с ним. Это означает, что, скажем, тезаурус носителя языка определенной профессии или специалиста в определенной области знания значительно выходит за пределы рамок этой профессии (области знания) в сферу других профессий (областей знания), которыми как таковыми данный носитель языка не владеет. Таким образом, среди носителей одного и того же языка можно выделять (в аспекте восприятия информации) не только социально-профессиональные, образовательные и т. п. группы, но и исходя из присущего им типа коммуникативно-познавательной деятельности условные семиотические группы по их тезаурусу и их умению оперировать его элементами в соответствии с мотивами и целями общения [4]. Представляется очевидным, что от умения реализовать в знаковом общении коммуникативно-познавательные мотивы и цели существенным образом зависит успешность любых совместных действий людей.

Елена Костромина, Изучение рекламы как средства массовых коммуникаций