Cython 缓冲区协议示例错误

Posted 2023-02-23

【中文标题】Cython 缓冲区协议示例错误

【英文标题】：Cython buffer protocol example error

【发布时间】：2017-02-10 23:51:02

【问题描述】：

我正在尝试这个 url 上的示例。 http://cython.readthedocs.io/en/latest/src/userguide/buffer.html

为了测试它，我执行以下操作。

import pyximport
pyximport.install(build_dir = 'build')
import ctest

m = ctest.Matrix(10)
m.add_row()
print(m)

当我调用 m.add_row() 函数说时，这给了我一个错误 TypeError: 'int' object is not iterable

在类中add_row被定义为

from cpython cimport Py_buffer
from libcpp.vector cimport vector

cdef class Matrix:
    cdef Py_ssize_t ncols
    cdef Py_ssize_t shape[2]
    cdef Py_ssize_t strides[2]
    cdef vector[float] v

    def __cinit__(self, Py_ssize_t ncols):
        self.ncols = ncols

    def add_row(self):
        """Adds a row, initially zero-filled."""
        self.v.extend(self.ncols)
    ...

假设在 cython 中对向量调用 extend 与在 python 列表上扩展完全相同，这个错误对我来说完全有意义。您没有传递一个数字，而是一个附加到列表的可迭代对象。

我可以通过这样做来解决它...

def add_row(self):
    """Adds a row, initially zero-filled."""
    self.v.extend([0] * self.ncols)

我只是想知道示例中是否有错字，或者我是否遗漏了什么。向量的扩展函数来自哪里？在与 cython 一起分发的 vector.pxd 文件中，它从不导入扩展函数，甚至在 c++ 标准库中也不存在。 cython 对向量类型有什么特别的作用吗？

https://github.com/cython/cython/blob/master/Cython/Includes/libcpp/vector.pxd

【参考方案1】：

cpp vector 可以自动转换为python列表。通过检查self.v.extend([0] * self.ncols) 行的c 代码，创建了一个新的python 列表：__pyx_t_2 = PyList_New(1 * ((__pyx_v_self->ncols<0) ? 0:__pyx_v_self->ncols))。所以extend其实就是python列表的extend方法。

这种自动转换也可以通过以下代码验证（在jupyter notebook中）：

%%cython -+
from libcpp.vector cimport vector

def test_cpp_vector_to_pylist():
    cdef vector[int] cv
    for i in range(10):
        cv.push_back(i)
    return cv

a = test_cpp_vector_to_pylist()
print a       # [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
print type(a) # <type 'list'>

但是cv在这种情况下会被转换成一个临时的python列表，原来的cpp转换器会保持不变，如下代码所示：

%%cython -+
from libcpp.vector cimport vector

def test_cpp_vector_to_pylist_1():
    cdef vector[int] cv
    for i in range(10):
        cv.append(i)    # Note: the append method of python list 
    return cv

a = test_cpp_vector_to_pylist_1()
print a       # []
print type(a) # <type 'list'>

另外，c数组也可以自动转换为python列表：

%%cython

def test_c_array_to_pylist():
    cdef int i
    cdef int[10] ca
    for i in range(10):
        ca[i] = i
    return ca

a = test_c_array_to_pylist()
print a       # [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
print type(a) # <type 'list'>

【讨论】：

值得补充的是，列表不会被转换回向量，因此向量最终不会被扩展。

对了，再添加一个代码sn-p来显示。