技术分享 | 编译器的编译基本过程

Posted 2021-04-26 优才网

　　编译器最基本的功能就是把高级语言(例如C/Fortran)编写的代码转化为机器指令(就是01串)，从这个角度来说它本质上是个转换过程。经典的编译过程主要包括：

1、词法分析(Lexical Analysis)

　　词法分析就是从输入代码中识别出各种记号(token)，例如对于C语言我们就需要知道if,else等是语言的关键字，myvar是个标识，而123myvar不能被识别为一个标识。负责实现词法分析的模块有时也称为scanner。

　　词法分析的关键当然是语言定义的规则了，比如哪些是关键词，哪些是合法的标识等，这些规则一般是通过正则表达式(RE，Regular Expression)来给出，运行时从输入缓冲区中读入一部分，然后看和哪个RE匹配就知道它到底是个什么token。

　　下一个问题就是正则表达式的匹配过程如何实现，经典理论对此都会提到有限状态机(FSM, Finite State Machine)。关于FSM在可行性计算里一般都会有不少篇幅分析，在编译里谈到的FSM和RE主要是如何从输入的构成出对应的FSM。构造的过程一般分为三个步骤

　　(1)根据Thompson构造法从RE构造出对应的非确定性有限状态机(NFA, Non-deterministic Automata)

　　(2)经过不断计算epison-闭包(也成为可到达集)构造出确定性有限状态机(DFA, deterministic Automata),

　　(3)将DFA最小化，方法是增量式地合并不可区分(对于同一输入的下一个状态都一样)的两个状态。

2、语法分析

　　语法分析的输入是一连串的token(词法分析的输出)，根据语言的语法规则不断解析最后得到一棵抽象语法树(AST, Abstract Syntax Tree)，负责语法分析模块通常也被叫做Parser。在词法分析中，我们经常使用正则表达式来表示语言所接受的token的规则，类似的，在语法分析中，我们使用文法(Grammar)来表示语言的语法规则，这也早期计算机语言设计中的研究热点(同样也是大学里学习编译时最容易让人头晕的东西)。

　　编译里常说的文法指的是一种上下文无关文法(Context-Free Grammar)，简单地说文法里包含终结符(terminal，就是26个字符、数字等等)、非终结符(nonterminal，实际是一种抽象)和产生式(production)。上下文无关文法要求每个产生式的左边必须恰好是一个非终结符，而右边是0个或多个终结符与非终结符的组合，最后整个文法还必须有一个起始符(某个终结符)。文法里还有些很重要的基本概念，例如推导(derivation)、归约(reduction)、二义性(ambiguity)、最左推导等等。

　　文法中最重要的基本概念是FIRST集和FOLLOW集的构造。根据这两个集合就可以很容易构造出一个预测分析表，每个行的名字是一个非终结符，每个列的名字是一个终结符，如果每个表格内没有两个以上的项，那么说明是一个LL(1)文法(Left-to-right parse, Leftmost-derivation, 1-symbol lookhead)，简单地说就是向右边看一个符号就能确定下一步动作。当原文法不是LL(1)文法时，可以尝试通过消除左递归(Eliminate Left Recursion)和提取左因子(Left Factoring)对原文法进行变形得到等价的LL(1)文法。

　　第二种文法就是LR(k)文法(Left-to-right parse, Rightmost derivation, k-token lookhead)。这种文法的解释过程一般通过栈辅助实现，中间主要有两种动作：shift（就是将当前输入入栈）和reduce（选择产生式并从栈中弹出符号执行归约操作）。LR(0)的构成过程就是从起始符所在的产生式开始构造item，然后对每个item针对每个可能的input构造它的出边(同样还是一个item)，最终所有的item形成一个有限状态机。接下来构造有限状态机，对于每个状态，如果出边是一个终结符，在对应表格记入shift操作，如果是非终结符则记入goto操作。如果S->x.这种item集，那么对每个终结符r，都记入(S, r)位置处为shift操作。

　　第三种SLR文法与LR(0)非常相似，区别在于生成分析表格时，对于S->x.这种item集，仅仅对于r输入FOLLOW(S)才在(S, r)位置处记入shift操作。

　　最后一种LALR(1)相对于LR(0)而言引入了活前缀，构造思路仍与LR(0)类似，但是构造出来的预测分析表更大。

　　综合起来，各文法表述能力：LL(0)<LR(0)<SLR<LALR(1)<LR(1)<LR(k)，LL(1)<LR(1)

3、语义分析(Sematic Analysis)

　　语义分析包括一些经典的问题。
　　(1)类型检查(Type Checking)，例如在语法树上a+b看起来是没问题的，因为a和b都是合法的变量名，并且语法中支持变量间+这种操作。但是可能a是一个字符串，而b是一个浮点数，这两者之间的+操作就不符合语义规范了，这种问题在这个阶段都会被找出来。

　　(2)符号管理，最经典的问题就是如何管理变量(变量的名字，类型，变量的作用域(scope)等)，在分析代码时，符号管理肯定是被频繁的搜索，因此它通常会使用hash来组织。

4、中间代码(IR, intermediate Representation)生成

5、编译优化

　　这一部分是现代编译器最核心所在，主要有两类，一类是通用的优化手段，比如死代码删除、循环不变量外提、强度削弱等，另一类就是体系结构相关的，说白了就是某种体系结构针对某类应用提供了特殊指令，例如intel的MMX，SSE2等等。为支持优化工作的开展，我们首先需要能够比较方便的描述代码。最基本的当然是一条指令，但是这个太细微，于是往上抽象出基本块(Basic Block)，这个基本上是所有优化开展必备的工作，然后多个基本块还可以构成一个超级块(region)。此外，经典的方法还包括控制流分析和数据流分析，这里常用的包括d-u链等。最后一个经典的topic就是寄存器分配。

6、目标代码生成

　　这里直接和具体平台相关，这里的平台同时包括软件和硬件，例如哪种目标文件格式(ELF, PE)，哪种平台(指令集)。不过现在编译器一般生成的是字符形式的汇编文件，所以前面一个问题基本不大，主要影响在后者。