一、实验目的
设计、编制并调试一个词法分析程序，加深对词法分析原理的理解。
二、实验内容
2.1 待分析的简单的词法
（1）关键字：
begin if then while do end
所有的关键字都是小写。
（2）运算符和界符
： = + - * / < <= <> > >= = ; ( ) #
（3）其他单词是标识符（ID）和整型常数（SUM），通过以下正规式定义：
ID = letter (letter | digit)*
NUM = digit digit*
（4）空格有空白、制表符和换行符组成。空格一般用来分隔ID、SUM、运算符、界符和关键字，词法分析阶段通常被忽略。
2.2 各种单词符号对应的种别码：
表2.1 各种单词符号对应的种别码
| 单词符号 |
种别码 |
单词符号 |
种别码 |
| bgin |
1 |
： |
17 |
| If |
2 |
：= |
18 |
| Then |
3 |
< |
20 |
| wile |
4 |
<> |
21 |
| do |
5 |
<= |
22 |
| end |
6 |
> |
23 |
| lettet（letter|digit）* |
10 |
>= |
24 |
| digit digit* |
11 |
= |
25 |
| + |
13 |
； |
26 |
| — |
14 |
( |
27 |
| * |
15 |
) |
28 |
| / |
16 |
# |
0 |
2.3 词法分析程序的功能：
输入：所给文法的源程序字符串。
输出：二元组（syn,token或sum）构成的序列。
其中：syn为单词种别码；
token为存放的单词自身字符串；
sum为整型常数。
例如：对源程序begin x:=9: if x>9 then x:=2*x+1/3; end #的源文件，经过词法分析后输出如下序列：
(1,begin)(10,x)(18,:=)(11,9)(26,;)(2,if)……
程序中需要用到的主要变量为syn,token和sum。
①token用来存放构成单词符号的字符串；②sum用来整型单词；③syn用来存放单词符号的种别码。
#include <iostream>
#include <string.h>
using namespace std;
char key[6][20] = {"begin","if","then","while","do","end"};//定义一个二维数组存放关键字
char token[20]; //存放字符（单词）
//判断关键字
int isKey(char s[])
{
for(int i = 0; i<6;i++)
{
if(strcmp(s,key[i]) == 0)
{
return i+1; //关键字的种别码依次为 begin=1,if=2,then=3,while=4,do=5,end=6即为 i+1 的值
}
}
return -1;
}
//判断是不是字母
bool isChar(char ch)
{
if((ch>='a' && ch<='z') || (ch>='A' && ch<='Z'))
return true;
else return false;
}
//判断是不是数字
bool isNum(char ch)
{
if(ch>='0' && ch<='9')
return true;
else
return false;
}
//核心子程序
void scanner(int &syn,int &p,char s[])
{
int count = 0;
if(s[p] == ' ') p++;
//开头是字母
if(isChar(s[p]))
{
while(isNum(s[p]) || isChar(s[p]))
{
token[count++] = s[p];
p++;
}
token[count] = '\0'; //'\0'作为结束符 ,将单词分隔开
syn = isKey(token);
if(syn == -1)
{
syn = 10; //标识符letter(letter|digit) *
}
}
//开头是数字
else if(isNum(s[p]))
{
while(isNum(s[p]))
{
token[count++] = s[p];
p++;
}
token[count] = '\0';//结束标识
syn = 11; //数字digit(digit) *
}
//如果是运算符或者界符
else
{
//先处理没有争议的字符
switch(s[p])
{
case '+': syn = 13;token[0] = s[p];token[1]='\0';break;
case '-': syn = 14;token[0] = s[p];token[1]='\0';break;
case '*': syn = 15;token[0] = s[p];token[1]='\0';break;
case '/': syn = 16;token[0] = s[p];token[1]='\0';break;
case '=': syn = 25;token[0] = s[p];token[1]='\0';break;
case ';': syn = 26;token[0] = s[p];token[1]='\0';break;
case '(': syn = 27;token[0] = s[p];token[1]='\0';break;
case ')': syn = 28;token[0] = s[p];token[1]='\0';break;
case '#': syn = 0 ;token[0] = s[p];token[1]='\0';break;
}
//处理有争议的
//: :=
if(s[p] == ':')
{
token[count++] = s[p];
if(s[p+1] == '=')
{
p++;
token[count++] = s[p];
syn = 18;
}
else
{
syn = 17;
}
token[count] = '\0';
}
//< <> <=
if(s[p] == '<')
{
token[count++] = s[p];
if(s[p+1] == '>')
{
p++;
token[count++] = s[p];
syn = 21;
}
else if(s[p+1] == '=')
{
p++;
token[count++] = s[p];
syn = 22;
}
else
{
syn = 20;
}
token[count] = '\0';
}
//> >=
if(s[p] == '>')
{
token[count++] = s[p];
if(s[p+1] == '=')
{
p++;
token[count++] = s[p];
syn = 24;
}
else
{
syn = 23;
}
token[count] = '\0';
}
//后移
p++; //判断运算符和界符的这部分由于指针 p 没有向后指，所以需要将指针 p 向后移一位
}
}
int main()
{
char s[100]; //输入字符串
while(cin>>s)
{
int p = 0;
int syn;
while(p < strlen(s)) //循环条件 ,p还未指到字符串最后
{
scanner(syn,p,s);
cout<<'<'<<token<<','<<syn<<'>'<<endl;
}
}
return 0;
}
输入begin x:=9: if x>9 then x:=2*x+1/3; end #
运行结果为：
