一、程序要求（以python为例）。
1.词法分析程序（Lexical Analyzer）要求：
- 从左至右扫描构成源程序的字符流
- 识别出有词法意义的单词（Lexemes）
- 返回单词记录（单词类别，单词本身）
- 滤掉空格
- 跳过注释
- 发现词法错误
2.程序结构：
输入：字符流（什么输入方式，什么数据结构保存）
处理：
–遍历（什么遍历方式）
–词法规则
输出：单词流（什么输出形式）
–二元组
3.单词类别：
1.标识符（10）
2.无符号数（11）
3.保留字（一词一码）
4.运算符（一词一码）
5.界符（一词一码）
| 单词符号 |
种别码 |
单词符号 |
种别码 |
| begin |
1 |
: |
17 |
| if |
2 |
:= |
18 |
| then |
3 |
< |
20 |
| while |
4 |
<= |
21 |
| do |
5 |
<> |
22 |
| end |
6 |
> |
23 |
| l(l|d)* |
10 |
>= |
24 |
| dd* |
11 |
= |
25 |
| + |
13 |
; |
26 |
| - |
14 |
( |
27 |
| * |
15 |
) |
28 |
| / |
16 |
# |
0 |
二、代码实现（以python为例）。
1.词法分析程序。
1 import re 2 3 4 strs = "if sum >= 1000 then x : x - 1;#"+" " 5 6 types = {'begin':1, 7 'if':2, 8 'then':3, 9 'while':4, 10 'do':5, 11 'end':6, 12 'l(l|d)*':10, 13 'dd*':11, 14 '+':13, 15 '-':14, 16 '*':15, 17 '/':16, 18 ':':17, 19 ':=':18, 20 '<':20, 21 '<=':21, 22 '<>':22, 23 '>':23, 24 '>=':24, 25 '=':25, 26 ';':26, 27 '(':27, 28 ')':28, 29 '#':0 30 } 31 32 if __name__ == '__main__': 33 # strs = input('请输入程序代码：')+" " #补位 34 35 index = 0 36 while index < len(strs): 37 keyIndex = 0 38 for key in types.keys(): 39 if index+len(key) < len(strs): 40 if strs[index:index+len(key)] == key and not re.match('^[=a-zA-Z0-9_-]$', strs[index+len(key)]): 41 if not(strs[index] == '=' and re.match('^[<>]$', strs[index-1])): 42 ss = strs[index:index+len(key)] 43 print((ss, types.get(ss))) 44 elif re.match('^[a-zA-Z0-9_]+', strs[index:]): 45 ss = re.match('^([a-zA-Z0-9_]+)', strs[index:]).group() 46 if not types.get(ss): 47 if re.match('[a-zA-Z]+', ss): 48 print((ss, '标识符')) 49 elif re.match('\d+', ss): 50 print((ss, '数字')) 51 else: 52 print((ss, '其他')) 53 index += len(ss) 54 keyIndex+=1 55 index+=1
2.运行结果展示。
