内核级pyhon:编译python编译器和语法修改

Posted 2021-10-24 tyler_download

现在一涉及到编程语言几乎就离不开python，甚至这门语言已经成了割韭菜的手段，各种1元学习python的引流课程层出不穷，从这些现象可以体会到python语法设计之成功。它基本上实现了其创作者的初衷：简单易懂，它的优美就如同白居易的诗：“老妪能懂”。

事实上Python看似简单的外表下隐藏着蛮复杂的内核，我有一次面试被问到python语言如何创建一个对象，当时我就有点懵，平常写代码很少思考到python语言中一个对象如何构建，在后来的搜索过程中才了解到，每个python对象都可以定义一个__new__方法，由这个方法来预先给对象分配内存，然后__init__方法才作用在这块内存上，进行初始化。由此我意识到python语言比想象中复杂很多，同时python代码其实有特定的写法套路，也就是所谓的"pythony"方式，这些方式能够大大简化代码量，增强可读性，例如所谓的Comprehension。当意识到我对python语言理解的肤浅后，我决定重新研究和学习python语法。

我读了一些Python语言书，但总是觉得有点乏味，它就像背单词，需要你做一些死记硬背。我突然意识到，为何不深入到python编译器的实现，看看其是如何设计实现的，通过编译器的解读来理解python语法不是更有技术含量吗，而且我曾经设计过两门编译原理课程:这里就是课程链接，如果从编译原理的角度去检索Python语言，这个角度更加高层建瓴，对python语言的认知会更通透。

python本身就是开源项目，因此其编译器源码非常容易获得，而且整个项目考虑到在各个平台上开发的需求，因此都做了专门配置。我发现基于windows，利用vs2019来研究Python内核代码最为合适，首先我们看看它的下载和编译。第一步是要下载代码，利用git即可，命令如下：

git clone https://github.com/python/cpython

下载后在本地目录会有一个cpython文件夹，所有代码就在里面。我们需要针对代码的3.9.0b1分支进行研究，因此要执行如下分支切换命令：

cd cpython
git checkout tags/v3.9.0b1 -b v3.9.0b1

在使用vs2019编译Python内核时，需要做一下配置，我们需要通过visual studio installer安装一些与Python开发相关的组件，如下图：

然后进入到代码目录:/cpython/pcbuild/,点击里面的pcbuild.sln就能打开整个工程，接着打开vs的解决方案管理器，点击小房子右边的图标，将视图转换为文件夹视图，我们能看到整个python内核的代码层级结构：

现在我们还不能直接编译其代码，因为有不少依赖组件还没有下载。在pcbuild目录下有一个get_externals.bat脚本，它就是专门用来获取外部依赖组件的。但是这个脚本需要做一些修改，因为里面有一个组件由于版本问题不能直接下载，使用笔记本打开它，然后修改如下：

如上图选中那行，原来内容为libffi，在下载的时候我们需要指定一个版本，这里我们指定3.30版本，所以选中那行修改为libffi-3.3.0，然后打开控制台，输入get_externals.bat执行脚本，它会下载相关组件，完成后在目录cpython下会多了一个目录:externals，我们还需要做一些修改，进入externals目录，把里面的子目录libffi-3.3.0修改为libffi，要不然编译会出错，完成这些工作后，使用vs的“生成”->"生成解决方案“即可编译python编译器，整个项目很小，编译不到5分钟就可以完成。

接下来我们修改一下代码，让python编译器发生一些肉眼可见的变化。打开Grammar目录，然后打开文件Grammar，该文件是Python的语法定义文件，看过这里编译原理课程的同学应该对这个文件的内容很熟悉，如果是对编译原理还不理解的同学可能理解起来会吃力。打开后我们做如下修改：

看上图中选中那行，我们在pass后面添加一个新的关键字proceed，学过python的同学都知道pass是关键字，表示“直接越过”，这里我们添加了另外一个同等作用的关键字proceed，它的用法跟pass一样，这里你可以添加任何关键字，例如keepgoing等，完成后将项目重新编译一遍，这样python的语法解释器才会重新读取grammar文件，建立新的语法解析树，编译好后打开命令行窗口，执行如下操作：

从vs中启动命令行后，按理其路径应该在PCBuild下面，如果你的机器是64位，那么编译好的可执行文件就在amd64下，因此cd进去，然后执行python_d.exe -X oldparser，这样启动的python运行环境，其对应的编译器就使用了我们修改后的语法，然后如上图输入一段代码，使用proceed替换pass，执行后可以看到编译器能够识别关键字proceed，其作用跟pass一样。

在Grammar文件夹下，还有一个文件叫Token，同样如果你看过我的编译原理课程，你对该文件的内容一定很熟悉。python编译器本身附带词法解析功能，我们在PCBuild的父目录下创建一个源码文件如下：

#Demo application
def  my_function():
    proceed
    

如何执行如下命令：

可以看到python编译器读取源码后输出了一系列符号说明，这些符号对应所谓的token，它是编译原理中的关键概念，不了解的同学可以到我的课程去看看。在后续的深入研究中，我考虑用java和c两种语言来实现一下python编译器，如果我们能顺利完成，想必我们对python语法的理解一定足够深入。

更多精彩内容请看这里