编译原理之词法分析程序的设计与实现

1、程序要求(以python为例)。html

 

1.词法分析程序(Lexical Analyzer)要求:python

- 从左至右扫描构成源程序的字符流数据结构

-  识别出有词法意义的单词(Lexemesspa

-  返回单词记录(单词类别,单词自己)code

-  滤掉空格htm

-  跳过注释blog

-  发现词法错误get

 

2.程序结构:input

输入:字符流(什么输入方式,什么数据结构保存)table

处理:

–遍历(什么遍历方式)

–词法规则

输出:单词流(什么输出形式)

–二元组

 

3.单词类别:

1.标识符(10)

2.无符号数(11)

3.保留字(一词一码)

4.运算符(一词一码)

5.界符(一词一码)

 

单词符号

种别码

单词符号

种别码

begin

1

:

17

if

2

:=

18

then

3

<

20

while

4

<=

21

do

5

<>

22

end

6

>

23

l(l|d)*

10

>=

24

dd*

11

=

25

+

13

;

26

-

14

(

27

*

15

)

28

/

16

#

0

 

2、代码实现(以python为例)。

1.词法分析程序。

 

 1 import re  2 
 3 
 4 strs = "if sum >= 1000 then x : x - 1;#"+" "
 5 
 6 types = {'begin':1,  7          'if':2,  8          'then':3,  9          'while':4, 10          'do':5, 11          'end':6, 12          'l(l|d)*':10, 13          'dd*':11, 14          '+':13, 15          '-':14, 16          '*':15, 17          '/':16, 18          ':':17, 19          ':=':18, 20          '<':20, 21          '<=':21, 22          '<>':22, 23          '>':23, 24          '>=':24, 25          '=':25, 26          ';':26, 27          '(':27, 28          ')':28, 29          '#':0 30  } 31 
32 if __name__ == '__main__': 33     # strs = input('请输入程序代码:')+" " #补位
34     
35     index = 0 36     while index < len(strs): 37         keyIndex = 0 38         for key in types.keys(): 39             if index+len(key) < len(strs): 40                 if strs[index:index+len(key)] == key and not re.match('^[=a-zA-Z0-9_-]$', strs[index+len(key)]): 41                     if not(strs[index] == '=' and re.match('^[<>]$', strs[index-1])): 42                         ss = strs[index:index+len(key)] 43                         print((ss, types.get(ss))) 44                 elif re.match('^[a-zA-Z0-9_]+', strs[index:]): 45                     ss = re.match('^([a-zA-Z0-9_]+)', strs[index:]).group() 46                     if not types.get(ss): 47                         if re.match('[a-zA-Z]+', ss): 48                             print((ss, '标识符')) 49                         elif re.match('\d+', ss): 50                             print((ss, '数字')) 51                         else: 52                             print((ss, '其余')) 53                     index += len(ss) 54             keyIndex+=1
55         index+=1

 

 

 

  2.运行结果展现。

  

 

原文出处:https://www.cnblogs.com/Rakers1024/p/11640718.html

相关文章
相关标签/搜索