如何将指向c数组的指针转换为python数组
Posted
技术标签:
【中文标题】如何将指向c数组的指针转换为python数组【英文标题】:How to convert pointer to c array to python array 【发布时间】:2011-11-24 12:19:10 【问题描述】:我有一个使用 ctypes 调用 Python 的 C++ 回调函数。这个函数的参数是一个指向双精度数组和元素个数的指针。
有很多元素,大约 2,000,000。我需要将其发送到 scipy 函数中。
C++ 原型是:
bool (*ptsetDataSource)(double*, long long);
这是下面的python代码:
CPF_setDataSource = CFUNCTYPE(c_bool, POINTER(c_double),c_longlong)
CPF_setSelection= CFUNCTYPE(c_bool,c_char_p, c_longlong,c_longlong)
CPF_ResetSequence = CFUNCTYPE(c_bool)
def setDataSource(Data, DataLength):
Datalist=[0.0]*100
for i in range(0,100):
Datalist[i]=Data[i]
print Datalist
return True
问题是打印数据列表返回:
[0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]
这是不正确的(在 c++ 端检查时,数据填充了很多其他数字。
另外,如果我使用此代码将数据转换为 python 列表,它会在分配步骤锁定计算机。
是否可以从 C++ 数组中加载数据,然后将其转换为适合 scipy 的数组?
【问题讨论】:
标准的 python 列表永远不会很快。如果您在代码的 C++ 方面很灵活,我会亲自使用 numpy“数组”对象的 C API。示例代码(使用 swig 而不是 ctypes):github.com/martinxyz/python/blob/master/realistic/hello.hpp 你能展示一下数据是如何分配的,你是如何从 Python 中调用各种 C 函数的,然后你是如何调用 setDataSource 的吗? 【参考方案1】:如果 Data
是 (c_double*DataLength.value)
数组,那么您可以:
a = np.frombuffer(Data) # no copy. Changes in `a` are reflected in `Data`
如果Data
是POINTER(c_double)
,您可以使用numpy.fromiter()
获得numpy 数组。它与您的问题中的循环相同,但速度更快:
a = np.fromiter(Data, dtype=np.float, count=DataLength.value) # copy
要从 POINTER(c_double)
实例创建一个 numpy 数组而不复制,您可以使用 .from_address()
方法:
ArrayType = ctypes.c_double*DataLength.value
addr = ctypes.addressof(Data.contents)
a = np.frombuffer(ArrayType.from_address(addr))
或者
array_pointer = ctypes.cast(Data, ctypes.POINTER(ArrayType))
a = np.frombuffer(array_pointer.contents)
这两种方法都将POINTER(c_double)
实例转换为(c_double*DataLength)
,然后将其传递给numpy.frombuffer()
。
基于 Cython 的解决方案
是否可以从 C++ 数组中加载数据,然后将其转换为适合 scipy 的数组?
这里是 Python 的 C 扩展模块(用 Cython 编写),它以 C API 的形式提供转换功能:
cimport numpy as np
np.import_array() # initialize C API to call PyArray_SimpleNewFromData
cdef public api tonumpyarray(double* data, long long size) with gil:
if not (data and size >= 0): raise ValueError
cdef np.npy_intp dims = size
#NOTE: it doesn't take ownership of `data`. You must free `data` yourself
return np.PyArray_SimpleNewFromData(1, &dims, np.NPY_DOUBLE, <void*>data)
它可以与ctypes
一起使用,如下所示:
from ctypes import (PYFUNCTYPE, py_object, POINTER, c_double, c_longlong,
pydll, CFUNCTYPE, c_bool, cdll)
import pointer2ndarray
tonumpyarray = PYFUNCTYPE(py_object, POINTER(c_double), c_longlong)(
("tonumpyarray", pydll.LoadLibrary(pointer2ndarray.__file__)))
@CFUNCTYPE(c_bool, POINTER(c_double), c_longlong)
def callback(data, size):
a = tonumpyarray(data, size)
# call scipy functions on the `a` array here
return True
cpplib = cdll.LoadLibrary("call_callback.so") # your C++ lib goes here
cpplib.call_callback(callback)
call_callback
是:void call_callback(bool (*)(double *, long long))
。
【讨论】:
以上是关于如何将指向c数组的指针转换为python数组的主要内容,如果未能解决你的问题,请参考以下文章
如何将 C 数组转换为 std::initializer_list?