编译原理之词法分析程序的设计与实现

Posted rakers1024

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了编译原理之词法分析程序的设计与实现相关的知识,希望对你有一定的参考价值。

一、程序要求(以python为例)。

 

1.词法分析程序(Lexical Analyzer)要求:

- 从左至右扫描构成源程序的字符流

-  识别出有词法意义的单词(Lexemes

-  返回单词记录(单词类别,单词本身)

-  滤掉空格

-  跳过注释

-  发现词法错误

 

2.程序结构:

输入:字符流(什么输入方式,什么数据结构保存)

处理:

–遍历(什么遍历方式)

–词法规则

输出:单词流(什么输出形式)

–二元组

 

3.单词类别:

1.标识符(10)

2.无符号数(11)

3.保留字(一词一码)

4.运算符(一词一码)

5.界符(一词一码)

 

单词符号

种别码

单词符号

种别码

begin

1

:

17

if

2

:=

18

then

3

<

20

while

4

<=

21

do

5

<>

22

end

6

>

23

l(l|d)*

10

>=

24

dd*

11

=

25

+

13

;

26

-

14

(

27

*

15

)

28

/

16

#

0

 

二、代码实现(以python为例)。

1.词法分析程序。

 

 1 import re
 2 
 3 
 4 strs = "if sum >= 1000 then x : x - 1;#"+" "
 5 
 6 types = {begin:1, 
 7          if:2,
 8          then:3,
 9          while:4,
10          do:5,
11          end:6,
12          l(l|d)*:10,
13          dd*:11,
14          +:13,
15          -:14,
16          *:15,
17          /:16,
18          ::17,
19          :=:18,
20          <:20,
21          <=:21,
22          <>:22,
23          >:23,
24          >=:24,
25          =:25,
26          ;:26,
27          (:27,
28          ):28,
29          #:0
30         }
31 
32 if __name__ == __main__:
33     # strs = input(‘请输入程序代码:‘)+" " #补位
34     
35     index = 0
36     while index < len(strs):
37         keyIndex = 0
38         for key in types.keys():
39             if index+len(key) < len(strs):
40                 if strs[index:index+len(key)] == key and not re.match(^[=a-zA-Z0-9_-]$, strs[index+len(key)]):
41                     if not(strs[index] == = and re.match(^[<>]$, strs[index-1])):
42                         ss = strs[index:index+len(key)]
43                         print((ss, types.get(ss)))
44                 elif re.match(^[a-zA-Z0-9_]+, strs[index:]):
45                     ss = re.match(^([a-zA-Z0-9_]+), strs[index:]).group()
46                     if not types.get(ss):
47                         if re.match([a-zA-Z]+, ss):
48                             print((ss, 标识符))
49                         elif re.match(d+, ss):
50                             print((ss, 数字))
51                         else:
52                             print((ss, 其他))
53                     index += len(ss)
54             keyIndex+=1
55         index+=1

 

 

 

  2.运行结果展示。

  技术图片

 

以上是关于编译原理之词法分析程序的设计与实现的主要内容,如果未能解决你的问题,请参考以下文章

编译原理 实验一 java语言实现对C语言词法分析

编译原理实验:实验一 简单词法分析程序设计(必修)(Python实现)

编译原理课程设计词法分析程序设计

递归下降语法分析实验和词法分析实验报告,是编译原理的,做好直接发我邮箱 516786727@qq.com

[编译原理]词法分析器的分析与实现

GCC编译器原理------编译原理三:编译过程(2-1)---编译之词法分析