词法分析器

Posted bxtkezhan

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了词法分析器相关的知识,希望对你有一定的参考价值。

维基百科介绍:词法分析是计算机科学中将字符序列转换为标记序列的过程。
进行词法分析的程序或者函数叫作词法分析器。

有如下原始程序代码

add_result = 1 + 2

通过词法分析得到以下结果

NAME   `add_result` 0,  0
SYMBOL `=`          0, 11
INT    `1`          0, 13
SYMBOL `+`          0, 15
INT    `2`          0, 17

整理成表格形式

标记类型字面值行号列号
NAMEadd_result00
SYMBOL=011
INT1013
SYMBOL+015
INT2017

我们可以利用Go语言轻松实现可用的词法分析器

以上是关于词法分析器的主要内容,如果未能解决你的问题,请参考以下文章

词法分析

词法分析器代码复审

实验一 词法分析器+编译原理

Second-词法分析

lex实现扩展的pl0语言的词法分析器(附源码)

词法分析器