词法分析器实验报告及源代码

数学与软件科学学院实验报告学期：13至14__第_2学期2014年3月17日课程名称:编译原理专业:2011级5_班实验编号：01实验项目：词法分析器指导教师_王开端姓名：张世镪学号：2011060566实验成绩：一、目的学习编译原理，词法分析是编译的第一个阶段，其任务是从左至右挨个字符地对源程序进行扫描，产生一个个单词符号，把字符串形式的源程序改造成单词符号串形式的中间程序。执行词法分析的程序称为词法分析程序，也称为词法分析器或扫描器。词法分析器的功能是输入源程序，输出单词符号做一个关于C的词法分析器，C++实现二、任务及要求1．词法分析器产生下述C的单词序列这个C的所有的单词符号，以及它们的种别编码和内部值如下表：单词符号及种别编码单词符号种别编码单词符号种别编码main1[28int2]29char3{30if4}31else5,32for6:33while7；34标识符ID10＞35整型常数NUM20＜36=21＞＝37+22＜＝38-23＝＝39*24！＝40/25&41(26&&42)27||43关键字mainintcharifelseforwhile都是小写并都是保留字。算符和界符=+－*/&＜＜＝＞＞＝＝＝!＝&&||,:;{}[]()ID和NUM的正规定义式为：ID→letter(letter|didit)*NUM→digitdigit*letter→a|…|z|A|…|Zdigit→0|…|9如果关键字、标识符和常数之间没有确定的算符或界符作间隔，则至少用一个空格作间隔。空格由空白、制表符和换行符组成。三、大概设计1.设计原理词法分析的任务：从左至右逐个字符地对源程序进行扫描，产生一个个单词符号。理论基础：有限自动机、正规文法、正规式词法分析器又称扫描器：执行词法分析的程序2.词法分析器的功能和输出形式功能:输入源程序、输出单词符号程序语言的单词符号一般分为以下五种：关键字、标识符、常数、运算符、界符。3.输出的单词符号的表示形式:(单词种别，单词符号的属性值)单词种别用整数编码，关键字一字一种，标识符统归为一种，常数一种，各种符号各一种。4.状态转换图实现三、程序设计1.词法分析器的流程图开始输入源文件路径路径是否有效是初始化文件指针否将字符加入字符数组Word[]是空格，空白或换行吗是字母吗是数字吗否否是界符吗否打开源文件跳过该字符是是文件结束？否将字符加入字符数组Word[]否将字符加入字符数组Word[]是指向下一字符识别指针内容指向下一字符是字母惑数字吗是将word与关键字表key进行匹配否匹配？是输出word为关键字输出word为普通标示符否将字符加入字符数组Word[]指向下一字符输出word为常数识别指针内容回退是数字吗是否输出word为界符指向下一字符结束是输出Word内容为不可识别将字符加入字符数组Word[]2.总体模块设计/*用来存储目标文件名*/stringfile_name;/*提取文本文件中的信息。*/stringGetText();/*获得一个单词符号,从位置i开始查找。//并且有一个引用参数j，用来返回这个单词最后一个字符在str的位置。*/stringGetWord(stringstr,inti,int&j);/*这个函数用来除去字符串中连续的空格和换行intDeleteNull(stringstr,inti);/*判断i当前所指的字符是否为一个分界符，是的话返回真，反之假*/boolIsBoundary(stringstr,inti);/*判断i当前所指的字符是否为一个运算符，是的话返回真，反之假*/boolIsOperation(stringstr,inti);/*此函数将一个pair数组输出到一个文件中*/voidOutFile(vectorpairint,stringv);/*此函数接受一个字符串数组，对它进行词法分析，返回一个pair型数组*/vectorpairint,stringanalyst(vectorstringvec);/*此函数判断传递的参数是否为关键字，是的话，返回真，反之返回假*/boolIsKey(stringstr);4.各模块设计1.首先根据上面单词符号表及ID和NUM的正规定义式，构造出状态转换图；2.定义相关的变量和数据结构。关键字作为特殊标识符处理，把它们预先安排在一张表格中（称为关键字表），当扫描程序识别出标识符时，查关键字表。如能查到匹配的单词，则该单词为关键字，否则为一般标识符。关键字表为一个字符串数组，其描述如下：charKEY_WORDS[7]={″main″,″int″,″char″,″if″,″else″,″for″,″while″}；用以存放单词符号二元式的数据结构可如下定义：classWord_Analyzer{public:charContent[MAXLENGTH];intval;voidprint();};5.按照编译程序一遍扫描的要求，把词法分析器Scaner作为一个独立的子程序来设计，通过对Scaner的反复调用识别出所有的单词符号；6.当Scaner识别出一个单词符号时，则将该单词符号的二元式写入到输出文件中。若Scaner无法识别出一个单词符号时，则调用错误处理程序PrintError，显示当前扫描到的字符及其所在行、列位置，并跳过该字符重新开始识别单词符号。四、程序测试测试该设计词法分析器，可对下面的源程序进行词法分析：main(){inti=10;while(i)i=i-1;}输出如下二元式代码序列：(1,main)(26,()(27,))(30,{)(2,int)(10,i)(21,=)(20,10)(34,;)(7,while)(26,()(10,i)(27,))(10,i)(21,=)(10,i)(23,-)(20,1)(34,;)(31,})五、结论该词法分析器功能良好，可以完成预定的要求。六、程序代码#includeiostream#includevector#includestring#includefstreamusingnamespacestd;/*用来存储目标文件名*/stringfile_name;/*提取文本文件中的信息。*/stringGetText();/*获得一个单词符号,从位置i开始查找。//并且有一个引用参数j，用来返回这个单词最后一个字符在str的位置。*/stringGetWord(stringstr,inti,int&j);/*这个函数用来除去字符串中连续的空格和换行//第一个参数为目标字符串，第二个参数为开始位置//返回值为连续的空格和换行后的第一个有效字符在字符串的位置*/intDeleteNull(stringstr,inti);/*判断i当前所指的字符是否为一个分界符，是的话返回真，反之假*/boolIsBoundary(stringstr,inti);/*判断i当前所指的字符是否为一个运算符，是的话返回真，反之假*/boolIsOperation(stringstr,inti);/*此函数将一个pair数组输出到一个文件中*/voidOutFile(vectorpairint,stringv);/*此函数接受一个字符串数组，对它进行词法分析，返回一个pair型数组*/vectorpairint,stringanalyst(vectorstringvec);/*此函数判断传递的参数是否为关键字，是的话，返回真，反之返回假*/boolIsKey(stringstr);intmain(){stringcom1=;stringcom2=\n;stringfileline=GetText();intbegin=0,end=0;vectorstringarray;do{begin=DeleteNull(fileline,begin);stringnowString;nowString=GetWord(fileline,begin,end);if(end==-1)break;if(nowString.compare(com1)&&nowString.compare(com2))array.push_back(nowString);begin=end+1;}while(true);vectorpairint,stringmid_result;mid_result=analyst(array);OutFile(mid_result);cout**********************************************************************\n;cout***程序已完成词法分析，分析结果已经存储在文件file_name中！！！***\n;cout**********************************************************************\n;system(pause);return0;}/*提取文本文件中的信息*/stringGetText(){stringfile_name1;cout请输入源文件名（包括路径和后缀名）：;cinfile_name1;ifstreaminfile(file_name1.c_str(),ios::in);if(!infile){cerr无法打开文件!file_name1.c_str()!!!endl;exit(-1);}coutendl;charf[1000];infile.getline(f,1000,EOF);infile.close();returnf;}/*获得一个单词符号,从位置i开始查找。//并且有一个引用参数j，用来返回这个单词最后一个字符在原字符串的位置。*/stringGetWord(stringstr,inti,int&j){stringno_use((){},;\n+=*/-\);j=str.find_first_of(no_use,i);if(j==-1)return;if(i!=j)j--;returnstr.substr(i,j-i+1);}/*这个函数用来除去字符串中连续的空格和换行//第一个参数为目标字符串，第二个参数为开始位置//返回值为连续的空格和换行后的第一个有效字符在字符串的位置*/intDeleteNull(stringstr,inti){for(;;i++)if(str[i]!=''&&str[i]!='\n')returni;}/*判断i当前所指的字符是否为一个分界符，是的话返回真，反之假*/boolIsBoundary(stringstr,inti){intt;chararr[7]={',',';','{','}','(',')','\'};for(t=0;t7;t++)if(str[i]==arr[t])returntrue;returnfalse;}/*判断i当前所指的字符是否为一个运算符，是的话返回真，反之假*/boolIsOperation(stringstr,inti){intt;chararr[7]={'+','-','*','/','=','',''};for(t=0;t7;t++)if(str[i]==arr[t])returntrue;returnfalse;}/*此函数将一个个字符串数组输出到一个文件中*/voidOutFile(vectorpairint,stringv){cout请输入目标文件名（包括路径和后缀名）：;cinfile_name;ofstreamoutfile(file_name.c_str(),ios::out);if(!outfile){cerr无法打开文件!file_name.c_str()!!!endl;exit(-1);}coutendl;inti;for(i=0;iv.si