如何手动编译使用 C++ 的 Cython 代码？

Posted 2023-02-23

【中文标题】如何手动编译使用 C++ 的 Cython 代码？

【英文标题】：How can I manually compile Cython code that uses C++?

【发布时间】：2015-02-06 12:47:13

【问题描述】：

我已经完全复制了Cython documentation for wrapping C++ classes 中给出的示例代码。我可以使用distutils 和cythonize() 方法成功构建和导入rect.so 扩展，即通过：

将以下指令放在rect.pyx 的顶部：

# distutils: language = c++
# distutils: sources = Rectangle.cpp

编写一个包含以下内容的setup.py 文件：

from distutils.core import setup
from Cython.Build import cythonize

setup(
    name = "rectangleapp",
    ext_modules = cythonize('*.pyx'),
)

打电话

$ python setup.py build_ext --inplace

但是，当我在 Cython 中包装 C 代码时，我经常发现从命令行手动编译单个扩展更方便，即：

使用命令行 Cython 编译器生成 .c 代码

$ cython foo.pyx

使用gcc手动编译：

$ gcc -shared -fPIC -O3 -I /usr/lib/python2.7 -L /usr/lib/python2.7 \
       foo.c -lpython2.7 -o foo.so

我尝试应用相同的过程来构建上面的 rect.so 示例：

$ cython --cplus rect.pyx
$ g++ -shared -fPIC -O3 -I /usr/lib/python2.7 -L /usr/lib/python2.7 \
      rect.cpp -lpython2.7 -o rect.so

Cython 和 g++ 编译步骤似乎都成功了 - 我没有得到任何命令行输出，最后我构建了一个 rect.so。但是，当我尝试导入模块时，我收到 undefined symbol 错误：

In [1]: import rect
---------------------------------------------------------------------------
ImportError                               Traceback (most recent call last)
<ipython-input-1-ba16f97c2145> in <module>()
----> 1 import rect

ImportError: ./rect.so: undefined symbol: _ZN6shapes9Rectangle9getLengthEv

手动编译包装 C++ 类的 Cython 代码的正确过程是什么？

【参考方案1】：

这里的问题是你说你将在某个地方提供一个名为 Rectangle 的类的定义——示例代码在该类中声明

cdef extern from "Rectangle.h" namespace "shapes":
    cdef cppclass Rectangle:
        ...

但是，当您编译该库时，您没有提供 Rectangle 的代码或包含它的库，因此 rect.so 不知道在哪里可以找到这个 Rectangle 类。

要运行您的代码，您必须首先创建 Rectangle 对象文件。

gcc -c Rectangle.cpp # creates a file called Rectangle.o

现在您可以创建一个库来动态链接，或者将目标文件静态链接到rect.so。我将首先介绍静态链接，因为它最简单。

gcc -shared -fPIC -I /usr/include/python2.7 rect.cpp Rectangle.o -o rect.so

请注意，我没有包含 python 库。这是因为您希望您的库由 python 解释器加载，因此当您的库被加载时，python 库将已经被进程加载。除了提供rect.cpp 作为来源，我还提供Rectangle.o。因此，让我们尝试使用您的模块运行程序。

run.py

import rect
print(rect.PyRectangle(0, 0, 1, 2).getLength())

不幸的是，这会产生另一个错误：

ImportError: /home/user/rectangle/rect.so undefined symbol: _ZTINSt8ios_base7failureE

这是因为 cython 需要 c++ 标准库，但是 python 没有加载它。您可以通过将 c++ 标准库添加到 rect.so 所需的库来解决此问题

gcc -shared -fPIC -I/usr/include/python2.7 rect.cpp Rectangle.o -lstdc++ \
     -o rect.so

再次运行run.py，一切正常。但是，rect.so 的代码比它需要的要大，尤其是当您生成多个依赖于相同代码的库时。您可以动态链接 Rectangle 代码，也可以将其设为库。

gcc -shared -fPIC Rectangle.o -o libRectangle.so
gcc -shared -fPIC -I/usr/include/python2.7 -L. rect.cpp -lRectangle -lstdc++ \
     -o rect.so

我们将 Rectangle 代码编译到当前目录中的共享库中，并提供-L. 以便 gcc 知道在当前目录中查找库，-lRectangle 以便 gcc 知道查找 Rectangle 库。最后，为了能够运行你的代码，你必须告诉 python 矩形库在哪里。在运行python之前输入

export LD_LIBRARY_PATH="/home/user/rectangle" # where libRectangle.so lives

您可以使用 shell 脚本确保每次在运行程序之前都完成此操作，但这会使事情变得更加混乱。最好只坚持静态链接矩形。

【讨论】：

我正在尝试在 Windows 上重现这些步骤，但无法正常工作。这是我的步骤： 1. cython --cplus rect.pyx -> rect.cpp 2. gcc -c Rectangle.cpp -> Rectangle.o 3. gcc -shared -fPIC -IC:\Users\python37\include rect. cpp Rectangle.o -lstdc++ -o -rect.so

但是第 3 步失败，出现大量“未定义引用”类型的消息，例如“未定义对 `__imp_PyDict_Size' 的引用”。有什么想法吗？

我相信 Windows DLL 和 Unix 所以文件的创建方式不同。因此，您应该添加标志-L C:\Users\python37\libs -l python3 请参阅docs.python.org/3/extending/… 对此不要引用我，我很少在 Windows 上使用 C/C++。

我通过使用gcc -shared -fPIC -IC:\Users\python37\include -LC:\Users\python37\libs rect.cpp Rectangle.o -lstdc++ -o rect.pyd -lpython37 添加您的建议使其编译没有错误，但现在我在我的python 中执行import rect 时得到ImportError: DLL load failed: The specified procedure could not be found.。有什么想法吗？

不知道为什么，如果我在编译之前停用我的 python 环境，那么一切正常，但如果我留在我的 python 环境中，那么我在导入时收到错误消息ImportError: DLL load failed: The specified procedure could not be found.。至少上面的命令有效。