1、主要任务
从左到右扫描源程序，预处理后、 按照词法规则识别每个正确的单词，转换为对应的二元式（类号，内码），提交给语法分析使用。
2、预处理
- 处理注释、空格、跳格、回车换行
- 一行语句结束后，配上一个特殊字符说明
- 识别标号去（goto语句中标号），区分标号语句
- 输出源程序清单以便复核
3、超前搜索
对于某些关键词不加保护的语言，需要超前搜索
注：一般高级语言不需要超前搜索
4、输出格式
基本字（保留字）、标志词、常量、运算符、界符
二元式：（类号，内码）
5、扫描器设计
- 写出该语言的词法规则
- 将词法规则转换成状态转换图
- 将各转换图的初态连在一起，构成识别此语言的自动机
- 设计扫描器
-
- 扫描器作为语法分析的一个过程，当语法分析需要一个单词时，就调用扫描器。
- 扫描器从初态出发，当识别一个单词后，便进入终态，送入二元式
- 注：用状态转化矩阵替换状态图，方便计算机实现。
6、总结
- 正规文法、正规集、正规式的关系
- 正规文法是产生式的文法，是乔姆斯基 3文法，分为左线性文法、右线性文法
- 正规集是满足正规文法的所有集合。
- 正规式，使用一个简单的式子表示语言的组成
- 关系：正规文法和正规式是规则，正规集是个集合。正规文法和正规式是等价的，可以相互转换
- 正规文法->正规式
- NFA的确定化:子集法
- DFA的最小化：
- 对含有e弧的NFA进行确定化
- 正规文法、正规式、自动机的相互转换