编译原理之词法分析程序的设计与实现
Posted rakers1024
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了编译原理之词法分析程序的设计与实现相关的知识,希望对你有一定的参考价值。
一、程序要求(以python为例)。
1.词法分析程序(Lexical Analyzer)要求:
- 从左至右扫描构成源程序的字符流
- 识别出有词法意义的单词(Lexemes)
- 返回单词记录(单词类别,单词本身)
- 滤掉空格
- 跳过注释
- 发现词法错误
2.程序结构:
输入:字符流(什么输入方式,什么数据结构保存)
处理:
–遍历(什么遍历方式)
–词法规则
输出:单词流(什么输出形式)
–二元组
3.单词类别:
1.标识符(10)
2.无符号数(11)
3.保留字(一词一码)
4.运算符(一词一码)
5.界符(一词一码)
单词符号 |
种别码 |
单词符号 |
种别码 |
begin |
1 |
: |
17 |
if |
2 |
:= |
18 |
then |
3 |
< |
20 |
while |
4 |
<= |
21 |
do |
5 |
<> |
22 |
end |
6 |
> |
23 |
l(l|d)* |
10 |
>= |
24 |
dd* |
11 |
= |
25 |
+ |
13 |
; |
26 |
- |
14 |
( |
27 |
* |
15 |
) |
28 |
/ |
16 |
# |
0 |
二、代码实现(以python为例)。
1.词法分析程序。
1 import re 2 3 4 strs = "if sum >= 1000 then x : x - 1;#"+" " 5 6 types = {‘begin‘:1, 7 ‘if‘:2, 8 ‘then‘:3, 9 ‘while‘:4, 10 ‘do‘:5, 11 ‘end‘:6, 12 ‘l(l|d)*‘:10, 13 ‘dd*‘:11, 14 ‘+‘:13, 15 ‘-‘:14, 16 ‘*‘:15, 17 ‘/‘:16, 18 ‘:‘:17, 19 ‘:=‘:18, 20 ‘<‘:20, 21 ‘<=‘:21, 22 ‘<>‘:22, 23 ‘>‘:23, 24 ‘>=‘:24, 25 ‘=‘:25, 26 ‘;‘:26, 27 ‘(‘:27, 28 ‘)‘:28, 29 ‘#‘:0 30 } 31 32 if __name__ == ‘__main__‘: 33 # strs = input(‘请输入程序代码:‘)+" " #补位 34 35 index = 0 36 while index < len(strs): 37 keyIndex = 0 38 for key in types.keys(): 39 if index+len(key) < len(strs): 40 if strs[index:index+len(key)] == key and not re.match(‘^[=a-zA-Z0-9_-]$‘, strs[index+len(key)]): 41 if not(strs[index] == ‘=‘ and re.match(‘^[<>]$‘, strs[index-1])): 42 ss = strs[index:index+len(key)] 43 print((ss, types.get(ss))) 44 elif re.match(‘^[a-zA-Z0-9_]+‘, strs[index:]): 45 ss = re.match(‘^([a-zA-Z0-9_]+)‘, strs[index:]).group() 46 if not types.get(ss): 47 if re.match(‘[a-zA-Z]+‘, ss): 48 print((ss, ‘标识符‘)) 49 elif re.match(‘d+‘, ss): 50 print((ss, ‘数字‘)) 51 else: 52 print((ss, ‘其他‘)) 53 index += len(ss) 54 keyIndex+=1 55 index+=1
2.运行结果展示。
以上是关于编译原理之词法分析程序的设计与实现的主要内容,如果未能解决你的问题,请参考以下文章
编译原理实验:实验一 简单词法分析程序设计(必修)(Python实现)