Значение словосочетания «лексический анализ»
-
В информатике лексический анализ («токенизация», от англ. tokenizing) — процесс аналитического разбора входной последовательности символов на распознанные группы — лексемы, с целью получения на выходе идентифицированных последовательностей, называемых «токенами» (подобно группировке букв в словах). В простых случаях понятия «лексема» и «токен» идентичны, но более сложные токенизаторы дополнительно классифицируют лексемы по различным типам («идентификатор», «оператор», «часть речи» и т. п.). Лексический анализ используется в компиляторах и интерпретаторах исходного кода языков программирования, и в различных парсерах слов естественных языков.
Как правило, лексический анализ производится с точки зрения определённого формального языка или набора языков. Язык, а точнее его грамматика, задаёт определённый набор лексем, которые могут встретиться на входе процесса.
Традиционно принято организовывать процесс лексического анализа, рассматривая входную последовательность символов как поток символов. При такой организации процесс самостоятельно управляет выборкой отдельных символов из входного потока.
Распознавание лексем в контексте грамматики обычно производится путём их идентификации (или классификации) согласно идентификаторам (или классам) токенов, определяемых грамматикой языка. При этом любая последовательность символов входного потока (лексема), которая согласно грамматике не может быть идентифицирована как токен языка, обычно рассматривается как специальный токен-ошибка.
Каждый токен можно представить в виде структуры, содержащей идентификатор токена (или идентификатор класса токена) и, если нужно, последовательность символов лексемы, выделенной из входного потока (строку, число и т. д.).
Цель такой конвертации обычно состоит в том, чтобы подготовить входную последовательность для другой программы, например для грамматического анализатора, и избавить его от определения лексических подробностей в контекстно-свободной грамматике (что привело бы к усложнению грамматики).
Источник: Википедия
Делаем Карту слов лучше вместе
Привет! Меня зовут Лампобот, я компьютерная программа, которая помогает делать
Карту слов. Я отлично
умею считать, но пока плохо понимаю, как устроен ваш мир. Помоги мне разобраться!
Спасибо! Со временем я обязательно пойму, как устроен ваш мир.
Вопрос: кровать — обозначает ли то, что существует в физическом мире как материальная сущность (человек, животное, растение, предмет, вещество или конкретное место)?
- Не относите сюда чувства, свойства, события, действия, процессы, отношения, идеи, признаки, звуки, запахи, световые явления и абстрактные понятия.
Синонимы к словосочетанию «лексический анализ»
Предложения со словосочетанием «лексический анализ»
- Цель лексического анализа – подготовить входную последовательность к грамматическому анализу.
- В своей основе такой метод содержит принципы лексического анализа текста, изучение исторического контекста с целью понять первоначальный смысл написанного автором того или иного отрывка.
- Лексический анализ переведённых текстов показал, что по большей части электронные переводчики адекватно переводят простые части речи, но допускают ошибки в переводе падежей, принадлежности прилагательных, речевых оборотов, построения предложения.
- (все предложения)
Выдержки из русской классики со словосочетанием «лексический анализ»
- А между тем, казалось бы, весь анализ, в смысле нравственного разрешения вопроса, был уже им покончен: казуистика его выточилась, как бритва, и сам в себе он уже не находил сознательных возражений.
- Торжество самосохранения, спасение от давившей опасности — вот что наполняло в эту минуту все его существо, без предвидения, без анализа, без будущих загадываний и отгадываний, без сомнений и без вопросов.
- Мечте, загадочному, таинственному не было места в его душе. То, что не подвергалось анализу опыта, практической истины, было в глазах его оптический обман, то или другое отражение лучей и красок на сетке органа зрения или же, наконец, факт, до которого еще не дошла очередь опыта.
- (все выдержки из русской классики)
Сочетаемость слова «лексический»
Сочетаемость слова «анализ»
Понятия со словосочетанием «лексический анализ»
-
В информатике лексический анализ («токенизация», от англ. tokenizing) — процесс аналитического разбора входной последовательности символов на распознанные группы — лексемы, с целью получения на выходе идентифицированных последовательностей, называемых «токенами» (подобно группировке букв в словах). В простых случаях понятия «лексема» и «токен» идентичны, но более сложные токенизаторы дополнительно классифицируют лексемы по различным типам («идентификатор, оператор», «часть речи» и т. п.). Лексический...
- (все понятия)
Афоризмы русских писателей со словом «анализ»
- Отрицание и анализ расшатали все прежние основы жизни, свергли и свергают почти все авторитеты, даже и авторитеты духа и мысли, и жить приходится жутко, нечем морально!
- Метод науки… — анализ; метод искусства — синтез. Наука путем сравнений, сопоставлений, соотношений пытается разложить явления мира на их составные элементы. Искусство путем аналогий жаждет связать элементы мира в некоторые целые. Наука, следовательно, дает те элементы, из которых творит художник, и искусство начинается там, где наука останавливается.
- Новое надобно созидать в поте лица, а старое само продолжает существовать и твердо держится на костылях привычки. Новое надобно исследовать; оно требует внутренней работы, пожертвований; старое принимается без анализа, оно готово — великое право в глазах людей; на новое смотрят с недоверием, потому что черты его юны, а к дряхлым чертам старого так привыкли, что они кажутся вечными.
- (все афоризмы русских писателей)
Отправить комментарий
Предложения со словосочетанием «лексический анализ»
Цель лексического анализа – подготовить входную последовательность к грамматическому анализу.
В своей основе такой метод содержит принципы лексического анализа текста, изучение исторического контекста с целью понять первоначальный смысл написанного автором того или иного отрывка.
Лексический анализ переведённых текстов показал, что по большей части электронные переводчики адекватно переводят простые части речи, но допускают ошибки в переводе падежей, принадлежности прилагательных, речевых оборотов, построения предложения.
- (все предложения)
Синонимы к словосочетанию «лексический анализ»
- синтаксический анализ
- семантический анализ
- грамматический анализ
- лексическая категория
- формальная верификация
- (ещё синонимы...)