将二维 C 数组传递给 python numpy

Posted 2023-02-23

【中文标题】将二维 C 数组传递给 python numpy

【英文标题】：Passing 2 dimensional C array to python numpy

【发布时间】：2015-01-14 10:33:32

【问题描述】：

我需要一些关于将 C 数组传递给 python(numpy) 的帮助。 我有二维双精度数组 NumRows x NumInputs，似乎PyArray_SimpleNewFromData 没有正确转换它 - 很难看到，因为调试器没有显示太多，只有指针。

传递二维数组的正确方法是什么？

int NumRows = X_test.size();
int NumInputs = X_test_row.size();

double **X_test2 = new double*[NumRows];
for(int i = 0; i < NumRows; ++i) 

    X_test2[i] = new double[NumInputs];



for(int r = 0; r < NumRows; ++r) 

    for(int c = 0; c < NumInputs; ++c) 
    
        X_test2[r][c] = X_test[r][c];
    





const char *ScriptFName = "100-ABN-PREDICT";
char *FunctionName=NULL;

FunctionName="PredictGBC_DBG"; 

npy_intp Dims[2];
Dims[0]= NumRows;
Dims[1] = NumInputs;

PyObject *ArgsArray;
PyObject *pName, *pModule, *pDict, *pFunc, *pValue, *pArgs;

int row, col, rows, cols, size, type;

const double* outArray;
double ArrayItem;

//===================

Py_Initialize();

pName = PyBytes_FromString(ScriptFName);

pModule = PyImport_ImportModule(ScriptFName);

if (pModule != NULL)

    import_array(); // Required for the C-API

    ArgsArray = PyArray_SimpleNewFromData (2, Dims, NPY_DOUBLE, X_test2);//SOMETHING WRONG 

    pDict = PyModule_GetDict(pModule);

    pArgs = PyTuple_New (1);
    PyTuple_SetItem (pArgs, 0, ArgsArray);

    pFunc = PyDict_GetItemString(pDict, FunctionName);

    if (pFunc && PyCallable_Check(pFunc))
    

        pValue = PyObject_CallObject(pFunc, pArgs);//CRASHING HERE

        if (pValue != NULL) 
        
            rows = PyArray_DIM(pValue, 0);
            cols = PyArray_DIM(pValue, 1);
            size = PyArray_SIZE(pValue);
            type = PyArray_TYPE(pValue);


            // get direct access to the array data
            //PyObject* m_obj;
            outArray = static_cast<const double*>(PyArray_DATA(pValue));


            for (row=0; row < rows; row++) 
            
                ArrayItem = outArray[row];
                y_pred.push_back(ArrayItem);
            

        
        else 
        
            y_pred.push_back(EMPTY_VAL);
        
    
    else 
    
        PyErr_Print();
    //pFunc && PyCallable_Check(pFunc)



//(pModule!=NULL
else

    PyErr_SetString(PyExc_TypeError, "Cannot call function ?!");
    PyErr_Print();





Py_DECREF(pValue);
Py_DECREF(pFunc);

Py_DECREF(ArgsArray);  
Py_DECREF(pModule);
Py_DECREF(pName);


Py_Finalize (); 

【问题讨论】：

首先，我看到new，所以我想更好的标签是C++，即使它在很大程度上类似于你正在做的事情。其次，我认为X_test2 不是二维数组，而是数组数组。碰巧每个子数组的大小相同（NumInputs），但不一定是这样。

如果你不介意使用Cython，这是一个非常公认的连接 numpy 和 C 的标准，你可以让它变得更容易。尽管在这种情况下，在 Python/numpy 中分配数组可能更容易（推荐？），然后将其传递给您的 C 例程进行计算（所以我猜是您的第二个 for 循环）。 Cython wiki 上有一些 examples 可以帮助您。请注意，numpy 数组是 2D 的，但随后传递了一个指针并在 C 代码中用作 1D 数组。因此（部分）我之前的评论。

有点复杂：c++部分是一些其他软件使用的dll，它应该只获取数据，将其格式更改为numpy并将其传递给完成所有计算的python（scikit-学习）。

如果是dll，不能用ctypes吗？

让我们专注于将二维数组传递给 python。

【参考方案1】：

您必须将数据复制到连续的内存块中。为了表示二维数组，numpy 不使用指向一维数组的指针数组。 Numpy 期望数组存储在一个连续的内存块中，在（默认情况下）row major order。

如果您使用PyArray_SimpleNew(...) 创建数组，numpy 会为您分配内存。您必须将X_test2 复制到此数组，例如在行上循环使用std::memcpy 或std::copy。

也就是说，改变这个：

ArgsArray = PyArray_SimpleNewFromData (2, Dims, NPY_DOUBLE, X_test2);//SOMETHING WRONG 

到这样的事情：

// PyArray_SimpleNew allocates the memory needed for the array.
ArgsArray = PyArray_SimpleNew(2, Dims, NPY_DOUBLE);

// The pointer to the array data is accessed using PyArray_DATA()
double *p = (double *) PyArray_DATA(ArgsArray);

// Copy the data from the "array of arrays" to the contiguous numpy array.
for (int k = 0; k < NumRows; ++k) 
    memcpy(p, X_test2[k], sizeof(double) * NumInputs);
    p += NumInputs;

（看起来X_test2 是X_test 的副本，所以你可能需要修改上面的代码，直接从X_test 复制到numpy 数组中。）

【讨论】：

谢谢，我只是快速检查了一下 - 它似乎有效（我稍后会进一步调查）。顺便说一句，也许你会知道为什么调用： cols = PyArray_DIM(pValue, 1);不返回列数，即。数组.形状[1]？当 numpy 数组是双精度数时返回 8，当 int32 时返回 4？

什么是pValue？ PyArray_DIM() 的第一个参数必须是保存 numpy 数组的 python 对象，例如ArgsArray.

这在问题中附加的代码中，pValue = PyObject_CallObject(pFunc, pArgs)。这是从 python 返回的 numpy 数组

我只是想通了（在某种程度上） - 当 numpy 数组为 1d 时会发生这种情况

啊，有道理。 PyArray_DIM(arr, k) 正在访问长度为 PyArray_NDIM(arr) 的数组，对于一维数组，该数组为 1。