如何在 Cython 中正确管理 C++ 对象的生命周期？

Posted 2023-02-23

【中文标题】如何在 Cython 中正确管理 C++ 对象的生命周期？

【英文标题】：How can C++ object lifetimes be correctly managed in Cython?

【发布时间】：2010-12-21 17:10:13

【问题描述】：

在为 C++ 库编写 Cython 包装器时，我遇到了一个不清楚如何正确决定何时删除某些 C++ 实例的情况。

C++ 库看起来像这样：

#include <stdio.h>
#include <string.h>

class Widget 
    char *name;
    public:
        Widget() : name(strdup("a widget")) 
        ~Widget()  printf("Widget destruct\n"); 
        void foo()  printf("Widget::foo %s\n", this->name); 
;

class Sprocket 
    private:
        Widget *important;

    public:
        Sprocket(Widget* important) : important(important) 
        ~Sprocket()  important->foo(); 
;

这个库的一个重要方面是 Sprocket 析构函数使用了它给出的 Widget*，因此在 Sprocket 被销毁之前不能销毁 Widget。

我编写的 Cython 包装器如下所示：

cdef extern from "somelib.h":
    cdef cppclass Widget:
        pass

    cdef cppclass Sprocket:
        Sprocket(Widget*)


cdef class PyWidget:
    cdef Widget *thisptr

    def __init__(self):
        self.thisptr = new Widget()

    def __dealloc__(self):
        print 'PyWidget dealloc'
        del self.thisptr


cdef class PySprocket:
    cdef PyWidget widget
    cdef Sprocket *thisptr

    def __init__(self, PyWidget widget):
        self.widget = widget
        self.thisptr = new Sprocket(self.widget.thisptr)


    def __dealloc__(self):
        print 'PySprocket dealloc with widget', self.widget
        del self.thisptr

像这样构建 Python 构建后：

$ cython --cplus somelib.pyx 
$ g++ -I/usr/include/python2.6 -L/usr/lib somelib.cpp -shared -o somelib.so
$

在微不足道的情况下，它似乎可以工作：

$ python -c 'from somelib import PyWidget, PySprocket
spr = PySprocket(PyWidget())
del spr
'
PySprocket dealloc with widget <somelib.PyWidget object at 0xb7537080>
Widget::foo a widget
PyWidget dealloc
Widget destruct
$

cdef Widget 字段使PyWidget 保持活动状态，直到PySprocket.__dealloc__ 销毁Sprocket。但是，一旦涉及到 Python 垃圾收集，Cython 为 PySprocket 构造的 tp_clear 函数就会搞砸：

$ python -c 'from somelib import PyWidget, PySprocket
class BadWidget(PyWidget):
    pass
widget = BadWidget()
sprocket = PySprocket(widget)
widget.cycle = sprocket
del widget
del sprocket
'
PyWidget dealloc
Widget destruct
PySprocket dealloc with widget None
Widget::foo ��h�

由于存在引用循环，垃圾收集器调用tp_clear 来尝试打破循环。 Cython 的 tp_clear 删除了对 Python 对象的所有引用。只有在这种情况发生后，PySprocket.__dealloc__ 才能运行。

Cython 文档warns about __dealloc__（虽然我花了一段时间才知道它在谈论什么条件，因为它没有详细说明）。所以也许这种做法是完全无效的。

Cython 可以支持这个用例吗？

作为（我希望是）一个临时解决方法，我已经转向一种看起来像这样的方法：

cdef class PySprocket:
    cdef void *widget
    cdef Sprocket *thisptr

    def __init__(self, PyWidget widget):
        Py_INCREF(widget)
        self.widget = <void*>widget
        self.thisptr = new Sprocket(self.widget.thisptr)


    def __dealloc__(self):
        del self.thisptr
        Py_DECREF(<object>self.widget)

换句话说，对 Cython 隐藏引用，使其在 __dealloc__ 中仍然有效，并手动对其进行引用计数。

【问题讨论】：

string.h 和 stdio.h 不是有效的 C++ 头文件； C++ 等价物是<cstring> 和<cstdio>，你真的真的不应该使用它们。为什么你会考虑否认自己 std::string 的力量，尤其是当性能显然不是问题时（考虑到你已经在 Python 中完成了一半的工作）？

@Karl：它们在 C++ 中有效：标准的 D.5。

@Steve 合法但恕我直言不道德 ;)

名称字段是一种证明存在问题的方法。我实际上是要进行段错误，但只能设法获取一些垃圾数据（至少在我的系统上）。我认为 char* 可以替换为 std::string 而不会对问题产生实质性影响。不过，感谢您对标题名称的提醒。

【参考方案1】：

cdef extern from "somelib.h":
    cdef cppclass Widget:
        pass

    cdef cppclass Sprocket:
        Sprocket(Widget*)


cdef class PyWidget:
    cdef Widget *thisptr
    cdef set    sprockets

    def __init__(self):
        self.thisptr = new Widget()
        self.sprockets = set()

    def __dealloc__(self):
        print 'PyWidget dealloc'
        #PyWidget knows the sprockets and notifies them on destroy
        sprockets_to_dealloc = self.sprockets.copy()
        #with this solution spr items can call back to detach
        for spr in sprockets_to_dealloc:
          del spr
        del self.thisptr

    def attach(PySprocket spr):
        print 'PySprocket attach'
        self.sprockets.add(spr)

    def detach(PySprocket spr):
        print 'PySprocket detach'
        self.sprockets.remove(spr)

cdef class PySprocket:
    cdef PyWidget widget
    cdef Sprocket *thisptr

    def __init__(self, PyWidget widget):
        self.thisptr = new Sprocket(widget.thisptr)
        #You should be sure here that the widget exists
        widget.attach(self)
        self.widget = widget

    def __dealloc__(self):
        self.widget.detach(self)
        del self.thisptr

---

我稍后回来查看我写的内容，因为我很累， 但重要的是：关键是你 想要在销毁 Widget 时通知 Sprockets，反之亦然。

这是一个通用的解决方案，可以调整。

您还必须包括错误处理，我已经完全跳过了。 与垃圾收集器无关，您的代码中存在设计问题。

编辑： 这些代码是等价的： 一个

class BadWidget(PyWidget):
    pass
widget = BadWidget()
sprocket = PySprocket(widget)
widget.cycle = sprocket ###1
del widget ###2
del sprocket

B

class BadWidget(PyWidget):
    pass
widget = BadWidget()
sprocket = PySprocket(widget)
sprocket.widget.cycle = sprocket ###1
del sprocket.widget ###2
del sprocket

###2 将调用 sprocket.widget.__deallocate__() 并且它不会释放 sprocket.widget.cycle，因此 sprocket 将在小部件中继续存在

【讨论】：

我没有测试，但是Python和C++我都用过很多，并且查了Cython文档。

您好，感谢您的建议。我稍微调整了您的 Cython 以使其编译（需要前向 PySprocket 声明，一些 self 参数被遗忘，del spr 不合法） - 希望我可以分享确切的代码，但它不适合这个评论框 - 并从问题中重新尝试了我的简单测试，结果是：Exception AttributeError: "'NoneType' object has no attribute 'remove'" in 被忽略。 “复制”也有类似的错误。

self.sprockets 是 python set 类型的对象，cython 支持。忘记了哪些自参数？只需提及 1-2 以便我可以编辑我的帖子，我没有找到它们。您的两个代码都按预期运行，您看到了吗？在您的第二个代码中，您在 del sprocket 之前插入了一个 del 小部件，这会有所不同。

PyWidget 的附加和分离方法缺少 self 参数。一步一步的解释会很棒；我想我已经明白发生了什么，但也许我忽略了一些东西。至于“del sprocket”之前的“del 小部件” - 对象处于一个循环中，因此 del 的顺序应该无关紧要。

不幸的是，这仍然不起作用。问题是在PySprocket.__dealloc__ 中，self.widget 不能保证有效，在PyWidget.__dealloc__ 中，self.sprockets 也不能保证有效。 Cython 的 tp_clear 可能 已经将这两个属性都设置为 None。这只会在存在引用循环时发生，因为在这种情况下 Python 只会调用 tp_clear。