第三章 词法分析

 这章学习词法分析,词法分析的任务就是按顺序逐个分析源程序的字符,将字符串组成的源程序转换成由单词符号组成的程序。由词法分析器进行词法分析,词法分析器中输入源程序,输出单词符号。

    而单词符号是什么呢。单词符号指语言中具有独立意义的最小语法符号,常分类:关键字、标识符、常数、运算符、界符。词法分析器输出的单词符号常用二元式表示,如<单词类别,单词的属性值>。

    源程序文本进入词法分析器后,先放入输入缓冲区存放,然后预处理子程序,剔除无用的空白回车注释等,预处理好的子程序就放入扫描缓冲区里,在扫描缓冲区里进行单词识别。

    单词符号的识别通过超前搜索的方式进行,向前多读一定一定数量的字符,确保识别完整的单词,确定识别的单词后,指针进行回退。

    词法分析器的设计思路包括直接分析(根据第一个字符确定单词种类)和状态转换图法,状态转换图能识别一定的符号串,通过识别的不同字符进行状态的转换。

    我们用正规集表示具有相同特征的字的集合,用来表示正规集的形式化方法就是正规式。

    状态转换图形式化表示为有限自动机,有限自动机是一种数学模型,包括确定的有限自动机(DFA)和非确定的有限自动机(NFA)。DFA的状态为单值映射,NFA部分为非单值映射。


猜你喜欢

转载自blog.csdn.net/demagogic/article/details/79873841