1. Что такое лексический анализ?
Слово: это наименьшая единица, которую можно использовать независимо в естественном языке, и основная единица обработки языковой информации.
Лексический анализ: это метод анализа на лексическом уровне. В основном включает в себя 词的识别、形态分析、词性标注
такие задачи, как.
1. Распознавание слов
Преобразовать предложение в последовательность слов [то есть сегментацию слов? 】
2. Морфологический анализ
Словообразование, морфологические изменения и морфологическая реставрация.
3. Тегирование части речи
Отметьте части речи слов в предложении.
Во-вторых, лексический анализ английского языка.
Английский является флективным языком: потому что (1) между словами обычно есть пограничные знаки; (2) морфологические изменения слов богаты.
1. Распознавание английских слов