python如何编译py文件生成pyc、pyo、pyd以及如何和C语言结合使用
喜欢这篇文章的话，就去bilibili看看我吧，虽然啥也没有。：https://space.bilibili.com/12921175
python执行py文件的流程
当我们执行一个py文件的时候，直接python xx.py即可，那么这个流程是怎么样的呢。先说明一下，python执行代码实际上是先打开文件然后执行里面的代码，所以文件的扩展名不一定是py的形式，txt形式也是依旧可以成功执行，只要文件里面的代码是符合python规范的。下面我们来看看python是怎么执行py文件的。
先将文件里面的内容读取出来，scanner对其进行扫描，切分成一个个的tokenparser对token进行解析，建立抽象语法树(AST,abstract syntax tree)compiler对ast进行编译，得到python字节码code evaluator执行字节码
我们注意到第三个过程，是一个编译的过程。说明python即便是解释性语言，也依旧存在着编译的过程，这一点和java是一样的。之所以要存在编译的过程，主要是为了优化执行的速度，比如元组，或者函数里面出现了yield，这一点在编译的时候就已经确定了，编译的时候就已经知道这是一个什么样的数据结构，那么在执行的时候可以很快速的分配相应的内存。我们在打开python文件所在的目录的时候，总会看到一个__pycache__的文件夹，这里面存放的就是python编译之后的字节码。当执行python文件的时候，会检测当前的__pycache__目录中是否有对应的字节码，没有就创建，有的话比较字节码的创建时间和当前py文件的修改时间，如果字节码的创建时间要晚一些，说明用户没有修改文件，于是执行字节码，如果字节码的创建时间要早一些，说明用户修改了python源代码，那么就会从新编译得到一个新的字节码。此外编译还有一个重要的特点，就是语法检测。错误分为两种：一种是语法错误，另一种是逻辑错误。
-
语法错误就是源代码没有遵循python的规范，比如if判断使用了一个=，或者for循环后面没有:等等，这些都是属于语法错误，这是一种低级的错误，在编译的时候就会失败。try: > except Exception: pass """ 这个代码是编译不过去的，即便你使用了try···except。 语法错误就是不遵循python规范，编译的时候都编译不过。 """ -
那么另一种错误就是逻辑错误，这是语法没问题，但是执行的时候出错了，比如索引越界、和0相除、变量没有定义等等，这些错误是在运行的时候才会出现的，这是可以被捕获的。try: a except Exception: pass # 这段代码是不会报错的。
python如何编译py文件生成字节码
python中的字节码有两种，pyc和pyo，两者本质上没啥区别，只不过pyo的优化程度更高一些。
编译可以通过py_compile模块进行编译
# test.py
deffoo(name):
print("hello " + name)
我们来对test.py进行编译
import py_compile
"""
参数如下：
file：要编译的py文件
cfile：编译之后的字节码文件，不指定的话默认为源文件目录下的__pycache__目录的下的\'源文件名.解释器类型-python版本.字节码类型\'文件
dfile：错误消息文件，默认和cfile一样，一般不用管
doraise：是否开启异常处理，默认和False
optimize：优化字节码级别。如果是pyc：可以选-1或0。pyo的话，可以选1或2。都是值越小优化程度越高
"""
py_compile.compile(file="test.py", cfile=r"./test.pyc", optimize=-1)
py_compile.compile(file="test.py", cfile=r"./test.pyo", optimize=1)
可以看到，已经编译成功了，pyc是可以直接当做普通py文件导入的，但是pyo貌似不可以，所以一般我们只编译成pyc形式的字节码。但是如果不导入只是执行的话，那么是可以编译成pyo的。
import test
test.foo("mashiro") # hello mashiro
编译的另一种方式，我们也可以直接使用命令行。
编译成pyc
python -m py_compile 源代码
编译成pyo
python -O -m py_compile 源代码
如果需要编译整个目录内的所有源代码
python compileall
编译成pyd文件
这个pyd实际上就是Windows上的dll文件，但是pyd是由py文件生成的，是可以直接当成python模块导入的。而dll的话一般是c或者c++编写的扩展模块，这个时候我们会使用ctypes进行加载，后面会说。而Windows的pyd在linux上面则是so文件，dll在linux上面也是so文件，这个时候是使用ctypes还是使用普通加载模块的方式，就看具体情况了。
我们下面测试一段python代码，看看会用多长时间，然后将其编译成pyd之后再测试一下。
# test_v.py
deffunc():
for _ in range(10000):
sum = 0
for i in range(100000):
sum += i
可以看到我们将sum依次从0加到100000-1，然后重复这个过程10000次，我们来测试一下用了多长时间。
import time
from test_v import func
start = time.perf_counter()
func()
end = time.perf_counter()
print("总耗时：", end - start) # 总耗时： 45.554086
直接导入py文件，调用函数执行，总共花了45秒钟，下面我们来编译成pyd。
那么如何编译成pyd呢？
首先确保电脑上安装了64位的MinGW，然后安装cython，pip install cython，新建一个py文件to_pyd.py。
# to_pyd.py
# 导入模块
import Cython.Build
# 传入要编译成pyd的py文件
ext = Cython.Build.cythonize("test_v.py")
# 下面还要导入另一个模块
import distutils.core
# 调用setup方法
distutils.core.setup(
ext_modules=ext, # 将Cython.Build.cythonize返回的结果传进去
)
然后在命令行输入python to_pyd.py build，即可把py文件test_v.py编译成pyd。执行之后，会得到一个对应的test_v.c文件，以及一个build目录。这个生成的c文件我们不需要管，我们看看build目录。
我们看到此时就得到了对应的pyd文件，也叫test_v，后面的则是python的版本号以及操作系统类型、位数等等，我们来测试一下性能吧。只把那个pyd文件拿出来，其他没用的都删掉，
import time
import test_v
# 我们看到导入之后，显示的是pyd
print(test_v) # <module \'test_v\' from \'C:\\\\Users\\\\satori\\\\Desktop\\\\love_minami\\\\test_v.cp38-win_amd64.pyd\'>
start = time.perf_counter()
test_v.func()
end = time.perf_counter()
print("总耗时：", end - start) # 总耗时： 12.3021872
此时我们惊奇地看到，用了12秒，确实快了不少。主要是cython将python代码进行了优化，另外编译成pyd之后，是很难再反编译成py文件的，如果你的模块必须开源但是又不想被人看到某些细节的话，那么就可以编译成pyd。对于字节码pyc文件的反编译已经有人实现了，可以将pyc转成py文件，但是pyd目前还没有被反编译过。
那为什么编译成pyd的时候速度会提升呢？主要是cython将代码进行了优化，转化成了c一级的代码。另外我们说，test_v.cp38-win_amd64.pyd里面的38就是解释器的版本，我们这里是python3.8。这样的话，也就意味着只有当你的版本是python3.8的时候，才会去导入这个模块，于是我们把中间那一串给删掉只保留test_v.pyd可不可以呢？我们可以试一下
import test_v
print(test_v) # <module \'test_v\' from \'C:\\\\Users\\\\satori\\\\Desktop\\\\love_minami\\\\test_v.pyd\'>
事实证明确实是可以的，另外这样的话不光是python3.8，其他版本的python也是可以导入的，只要编译成pyd所使用的py文件，符合执行的python解释器的语法规范即可。
python结合c语言
我们说使用cython确实能够加速代码，但肯定还是没有原生的c语言执行的快。我们将上面的代码转换成c的代码来测试一下，进而引入如何将python和c进行结合。
//1.c
longlongfunc(){
int _;
long long sum;
long i;
for (_ = 0;_ < 10000; _ ++)
{
sum = 0;
for (i = 0;i < 100000; i++)
{
sum += i;
}
}
return sum;
}
然后我们将这个1.c编译成dll，在linux中就是so，通过命令gcc -o 编译之后的dll或者so文件名 -shared c源文件编译。
我们这里就编译成mmp.dll吧：所以是gcc -o mmp.dll -shared 1.c
可以看到mmp.dll已经出现了， 下面就来调用它
import time
import ctypes
# 调用ctypes.cdll.LoadLibrary，传入dll的路径
# 这个方法就等价于dll = ctypes.CDLL("xxx.dll")，用哪种都行,但是要求dll或者so的路径是绝对路径
# 另外这两种方式在Windows上加载dll和linux上加载so都是可以的。
dll = ctypes.cdll.LoadLibrary(r"C:\\Users\\satori\\Desktop\\love_minami\\mmp.dll")
start = time.perf_counter()
# 此时把dll看成一个模块即可，里面定义了很多函数，比如func
dll.func()
end = time.perf_counter()
print("总耗时：", end - start) # 总耗时： 2.3377831
可以看到用时不到3秒，而我使用原生的python执行需要45秒，使用cython加速也需要12秒。首先我必须指出，当sum依次从0加到100000-1时，long long存不下。但是相同功能的程序，c的速度肯定会比cython编译的pyd快，这一点可以自己测试一下，我这里就不再试了。
ctypes类型和c语言类型
我们直接调用一个函数显然是没有问题的，但如果函数里面需要参数呢？我们还能直接传递python的原生类型吗？
//计算两个数之和
intadd(int a, long b){
int sum;
sum = a + b;
return sum;
}
//查找指定字符在字符串中出现的位置
intfind_pos(char *string, char subchar){
char *p;
int pos = 0;
for (p = string; *p != \'\\0\'; p++, pos++){
if (*p == subchar)
{
return pos;
}
}
return -1;
}
import ctypes
dll = ctypes.cdll.LoadLibrary(r"C:\\Users\\satori\\Desktop\\love_minami\\mmp.dll")
print(dll.add(100, 200)) # 300
print(dll.find_pos("satori", "a")) # -1
我们看到对于整型来说是没有问题的，但是对于字符串就有问题了，因为c中没有字符串的概念，这时候应该怎么做呢？
import ctypes
from ctypes import c_char_p, c_char
dll = ctypes.cdll.LoadLibrary(r"C:\\Users\\satori\\Desktop\\love_minami\\mmp.dll")
# c语言中没有字符串这个概念，c语言中的字符串实际上是字符数组，c的这些概念不再介绍
# 传递一个指向字符数组的指针，同理字符a不能直接传递，需要使用c_char包装一下，并且里面需要传递字节。
print(dll.find_pos(c_char_p(b"satori"), c_char(b"a"))) # 1
所以我们来看看ctypes给我们提供了哪些类型，这些类型又对应c中的哪些类型呢？
from ctypes import *
print(c_int(1)) # c_long(1)
print(c_uint(1)) # c_ulong(1)
print(c_short(1)) # c_short(1)
print(c_ushort(1)) # c_ushort(1)
print(c_long(1)) # c_long(1)
print(c_ulong(1)) # c_ulong(1)
print(c_longlong(1)) # c_longlong(1)
print(c_ulonglong(1)) # c_ulonglong(1)
print(c_float(1.1)) # c_float(1.100000023841858)
print(c_double(1.1)) # c_double(1.1)
# 在64位机器上，c_longdouble等于c_double
print(c_longdouble(1.1)) # c_double(1.1)
print(c_bool(True)) # c_bool(True)
# 必须传递一个字节或者只有一个元素的字符数组，或者一个int
# 代表c里面的字符
print(c_char(b"a"), c_char(bytearray(b"x"))) # c_char(b\'a\') c_char(b\'x\')
# 传递一个unicode字符
print(c_wchar("憨")) # c_wchar(\'憨\')
# 和c_char类似，但是要求传递一个整型
print(c_byte(97)) # c_byte(97)
print(c_ubyte(97)) # c_ubyte(97)
# c_char_p就是c里面字符数组指针了
# char *s = "hello world";
# 那么这里面也要传递一个字符数组，字符是bytes类型,返回一个地址
print(c_char_p(b"hello world")) # c_char_p(2082736374464)
# 直接传递一个unicode，同样返回一个地址
print(c_wchar_p("憨八嘎~")) # c_wchar_p(2884583039392)
# 并且还有一个c_size_t和c_ssize_t
# 相当于c_ulonglong和c_longlong，这个和机器有关
print(c_size_t(10)) # c_ulonglong(10)
print(c_ssize_t(10)) # c_longlong(10)
当然c中各种类型，在ctypes都有对应。比如我们没有介绍的结构体等等，更复杂的用法可以参考官网。