Cython：具有自定义参数类型的 std::function 回调

Posted 2023-02-23

【中文标题】Cython：具有自定义参数类型的 std::function 回调

【英文标题】：Cython: std::function callbacks with custom parameter types

【发布时间】：2017-08-29 16:19:44

【问题描述】：

回复前请阅读本帖：Pass a closure from Cython to C++

在接受的答案中，巧妙地展示了如何使用 Boost Python 将 python 函数转换为 std::function。

按照这个示例，我可以包装以std::function 作为参数的函数，并使用 python 函数作为输入来调用它们。但是，这仅在 std::function 参数是 int、double、string 等原语时才有效。

任何关于如何使这项工作适用于自定义类型的指导都将受到高度赞赏。

【问题讨论】：

你能举一个完整但最小的例子来说明你想要做什么吗？

【参考方案1】：

这不是一个完整的答案 - 它假设您可以填补问题所基于的 my previous answer 的空白。不幸的是，它比那种情况要复杂一些。

---

只是为了定义问题 - 假设您有一个自定义 C++ 类的参数，例如：

class cpp_class 
  // some non-trivial contents
;

因此您的 C++ 界面如下所示：

void call_some_std_func(std::function<void(cpp_class&)> callback) 
    callback(5,std::string("hello"));

---

首先要做的是为你的 C++ 类编写一个 Cython 包装器（原则上你可以创建一个 Boost Python 包装器）。在这里，您需要选择 C++ 对象的“所有权”。第一选择是制作副本：

cdef extern from "cpp_file.hpp":
  cppclass cpp_class:
    pass # details

cdef class CyWrapper:
  cdef cpp_class* ptr
  def __dealloc__(self):
    del self.ptr
  # other details following standard wrapper pattern

cdef public make_CyWrapper(cpp_class& x):
  obj = CyWrapper()
  obj.ptr = new cpp_class(x)
  return obj

我创建了一个包装类，其中包含一个处理内存的析构函数和一个可从外部代码调用的可公开访问的构造函数。这个版本是安全的，因为您的包装器拥有它所拥有的对象，因此不能写入无效内存。但是，因为它是一个副本，所以您不能对原始 C++ 对象进行更改。

第二种选择是持有一个指向你不拥有的对象的指针。除了删除__dealloc__ 并避免在make_CyWrapper 中复制之外，代码基本相同：

obj.ptr = &x // instead of new cpp_class(x)

这是不安全的 - 您需要确保您的 C++ 对象比 Cython 包装器的寿命更长 - 但允许您修改对象。

您还可以想象其他一些选择：您可以使用 Cython 包装器获取现有对象的所有权（这样的方案必须通过指针而不是引用传递，或者它可以使用移动构造函数）；您可以将您的 C++ 类解构为以基本类型表示的表示并将其传递给 Python；您可以使用共享指针来分割所有权；或者，一旦您持有的 C++ 实例被破坏，您就有一种更精细的方式将您的 Cython 包装器标记为“无效”。

---

接下来您要做什么取决于您是使用 Boost Python（因为它方便、可调用地包装 Python 对象）还是您正在制作自己的版本。 （我在上一个答案中展示了这两种可能性）。

假设 Boost Python，您需要做两件事 - 告诉它有关转换的信息，并确保它导入定义了您的包装器的模块（如果您不这样做，您会遇到令人兴奋的分段错误）

struct convert_to_PyWrapper 
 static PyObject* convert(const cpp_class& rhs) 
    // the const_cast here is a bit dodgy, but was needed to make it work
    return make_CyWrapper(const_cast<cpp_class&>(rhs));

;

inline void setup_boost_python() 
    PyInit_your_module_name(); // named inityour_module_name in Python 2
    boost::python::to_python_converter<
        cpp_class,
        convert_to_PyWrapper>();

在尝试使用回调之前，您需要确保您的 Python/Cython 代码调用了“setup_boost_python”（如果您将它放在模块级别，它会在导入时完成，这是理想的）。

如果您遵循我的“手动”方案（避免对 Boost Python 的依赖），那么您需要修改将 C++ 类型转换为 Cython 的 call_obj Cython 函数。

cdef public void call_obj(obj, cpp_class& c):
    obj(make_CyWrapper(c))

您还需要确保在使用前导入包装 Cython 模块（否则会出现分段错误）。我在“py_object_wrapper.hpp”中做了这个，但只要它在某个地方完成，你就可以把它放在你喜欢的地方。

void operator()(cpp_class& a) 
    PyInit_your_module_name();
    if (held) 
        call_obj(held,a);
    

【讨论】：

（这适用于我的说明性实现，而不是 Boost Python 实现。我会看看如何在可能的情况下使用 Boost Python）

感谢大卫的详细回答，但正如我所指出的，我主要是在使用 Boost Python 的方式来做这件事。我想我需要一些东西：boost.org/doc/libs/1_62_0/libs/python/doc/html/faq/…

在我写了另一种方式的答案之后，我开始怀疑你想要 Boost Python 方式......我认为你的链接是正确的想法：我认为你在 Cython 中制作了一个转换器（可能使用如上所示的包装器类），制作一个cdef public 转换器函数以接收C++ 类并返回包装器，然后使用boost::python::to_python_converter。我可能需要一天或更长时间才能有时间查看它，所以如果您或其他任何人更快地弄清楚它，请发布它......