python如何调用扩展模块

Posted 2020-11-25 traditional

楔子

我们知道python的执行效率不是很高，而且由于GIL的原因，导致python不能充分利用多核CPU。一般的解决方式是使用多进程，但是多进程开销比较大，而且进程之间的通信也会比较麻烦。因此在解决效率问题上，我们会把那些比较耗时的模块使用C或者C++编写，然后编译成动态链接库，Windows上面是dll，linux上面则是so，编译好之后，交给python去调用。而且通过扩展模块的方式还可以解决python的GIL的问题，因此如果想要利用多核，我们仍然可以通过扩展模块的方式。

python如何调用扩展模块

python调用扩展模块的一种比较简单的方式就是使用ctypes这个库，这个库是python官方提供的，任何一个版本的python都可以使用，我们通过ctypes可以很轻松地调用扩展模块。

演示

#include <stdio.h>

void test()
{
    printf("hello world
");
}

我们定义了一个很简单的函数，下面我们就可以将其编译成扩展模块了。在Windows是dll，linux上是so，编译的命令是一样的。我这里以Windows 为例，记得在Windows上要安装MinGW，或者安装VsCode，我这里使用的是MinGW，因为VsCode太大了。

gcc -o dll文件或者so文件 -shared c或者c++源文件

我这里的C源文件叫做1.c，我们编译成mmp.dll吧，所以命令就可以这么写：gcc -o mmp.dll -shared 1.c

下面就可以使用python去调用了。

import ctypes

# 使用ctypes很简单，直接import进来，然后使用ctypes.CDLL这个类来加载动态模块
# 如果在Windows上还可以使用ctypes.WinDLL。
# 因为看ctypes源码的话，会发现WinDLL也是一个类并且继承自CDLL
# 所以在linux上使用ctypes.CDLL，
# 而在Windows上既可以使用WinDLL、也可以使用CDLL加载动态模块
lib = ctypes.CDLL("./mmp.dll")  # 加载之后就得到了扩展模块
# 我们可以直接通过.的方式去调用里面的函数了，会发现成功打印
lib.test()  # hello world

# 但是为了确定是否存在这个函数，我们一般会使用反射去获取
# 因为如果函数不存在通过.的方式调用会抛异常的
func = getattr(lib, "test", None)
if func:
    print(func)  # <_FuncPtr object at 0x0000029F75F315F0>
    func()  # hello world


# 不存在test_xx这个函数，所以得到的结果为None
func1 = getattr(lib, "test_xx", None)
print(func1)  # None

所以使用ctypes去调用扩展模块非常方便

• 1.通过ctypes.CDLL("dll或者so的路径")，如果是Windows还可以使用ctypes.WinDLL("dll路径")。另外这两种加载方式分别等价于:ctypes.CDLL("dll或者so的路径") == ctypes.cdll.LoadLibrary("dll或者so的路径")，ctypes.WinDLL("dll路径") == ctypes.windll.LoadLibrary("dll路径")。但是注意的是：linux上只能使用ctypes.CDLL和ctypes.cdll.LoadLibrary，而Windows上ctypes.CDLL、ctypes.cdll.LoadLibrary、ctypes.WinDLL、ctypes.windll.LoadLibrary都可以使用。但是一般我们都使用ctypes.CDLL即可，另外注意的是：dll或者so文件的路径最好是绝对路径，即便不是也要表明层级，比如我们这里的py文件和dll文件是在同一个目录下，但是我们加载的时候不可以写mmp.dll，这样会报错找不到，要写成./mmp.dll。
• 2.加载动态模块之后会返回一个对象，我们上面起名为lib，这个lib就是得到的扩展模块了。
• 3.然后可以直接通过lib调用里面的函数，但是一般我们会使用反射的方式来获取，因为不知道函数到底存不存在，如果不存在直接调用会抛出异常，如果存在这个函数我们才会执行。