多线程 (pthreads) MATLAB mex 函数导致 MATLAB 在退出后崩溃

Posted 2023-02-16

【中文标题】多线程 (pthreads) MATLAB mex 函数导致 MATLAB 在退出后崩溃

【英文标题】：Multithreaded (pthreads) MATLAB mex function causes MATLAB to crash after exiting

【发布时间】：2015-01-30 00:34:37

【问题描述】：

我有一个任务需要在 MATLAB 中执行很多次，我想通过使用多线程 MEX 函数来减少执行任务所花费的时间。但是，我遇到了一个小障碍，MEX 函数导致 MATLAB 在退出后由于双重释放或损坏错误而崩溃。

任务本身相当大，但我已经能够通过以下最小（非）工作示例重现错误：

#include <pthread.h>
#include "mex.h"
#include "matrix.h"

/* hard coded number of matrices to create per thread */
int num_mat = 10;

/* struct for passing information to the thread */
typedef struct 
    int pnum;
    int num_mat;
    mxArray *outMatrix;
 pt_info_t;


/* thread function */
void *doThread(void *tinfo)

    /* extract info from the struct */
    pt_info_t pinfo = *((pt_info_t *)tinfo);
    mxArray *outMatrix = pinfo.outMatrix;

    /* create a cell matrix */
    mxArray *one_cell = mxCreateCellMatrix(pinfo.num_mat, 1);
    int i = 0;
    for(i = 0; i < pinfo.num_mat; i++)
        /* fill the cell matrix with 1x1 double matrices */
        mxArray *one_mat = mxCreateDoubleMatrix(1,1,mxREAL);
        mxSetCell(one_cell, i, one_mat);
    

    /* add the cell matrix to the return cell matrix */
    mxSetCell(outMatrix, pinfo.pnum, one_cell);

    /* exit the thread */
    pthread_exit(NULL);


/* thread entry function */
void t_comp_routine(int num_threads, mxArray *outMatrix)

    /* thread setup */
    pthread_t threads[num_threads];
    pt_info_t pinfo[num_threads];

    /* add information to the thread info structs and start threads */
    int pnum = 0;
    for(pnum = 0; pnum < num_threads; pnum++)
        pinfo[pnum].pnum = pnum;
        pinfo[pnum].num_mat = num_mat;
        pinfo[pnum].outMatrix = outMatrix;

        pthread_create(&threads[pnum], NULL, doThread, (void *)(pinfo + pnum));
    

    /* join the threads */
    for(pnum = 0; pnum < num_threads; pnum++)
        pthread_join(threads[pnum], NULL);
    




/* same routine but without threads */
void comp_routine(int num_pretend_threads, mxArray *outMatrix)

    int pnum = 0;
    for(pnum = 0; pnum < num_pretend_threads; pnum++)
        mxArray *one_cell = mxCreateCellMatrix(num_mat, 1);

        int i = 0;
        for(i = 0; i < num_mat; i++)
            mxArray *one_mat = mxCreateDoubleMatrix(1,1,mxREAL);
            mxSetCell(one_cell, i, one_mat);
        

        mxSetCell(outMatrix, pnum, one_cell);
    


/* The gateway function 
* nlhs = NUM left hand side args (OUTPUT)
* nrhs = NUM rhs args (INPUT)
* plhs = array of output args (OUTPUT)
* prhs = array of input args (INPUT)
*/
void mexFunction(int nlhs, mxArray *plhs[],
                 int nrhs, const mxArray *prhs[])
    
    int num_threads = mxGetScalar(prhs[0]);
    mxArray *outMatrix = mxCreateCellMatrix(num_threads, 1);

    /* t_comp_routine causes matlab to crash after exiting */
    t_comp_routine(num_threads, outMatrix);

    /* comp_routine does not */
    /* comp_routine(num_threads, outMatrix); */

    plhs[0] = outMatrix;
    printf("Finished!\n");

程序接受num_threads 变量并输出一个单元数组，其元素数量与线程数相同。输出数组的每个单元格都是一个长度为 10 的单元格矩阵，其中每个元素都包含一个 1x1 双精度矩阵。

使用 10 个线程调用函数会导致以下情况：

>> thread_test(10)
Finished!
ans = 
    10x1 cell
    10x1 cell
    10x1 cell
    10x1 cell
    10x1 cell
    10x1 cell
    10x1 cell
    10x1 cell
    10x1 cell
    10x1 cell
*** glibc detected *** /usr/local/MATLAB/R2013a/bin/glnxa64/MATLAB: double free or corruption (fasttop): 0x00002b89a000cf10 ***

为简洁起见，我排除了 Backtrace，但如果需要，我很乐意提供它。

有时，使用少于 10 个线程的函数调用将完成而不会显示错误，尽管我怀疑可能仍然存在问题。非线程函数comp_routine 执行相同的任务并且已经运行了很多次没有错误。

我相信这个错误可能是由于在线程函数中创建 mxArrays 造成的，但我不知道如何解决这个问题，因为我必须在运行中创建这些数组（我不知道例如，总是提前知道创建它们的大小）。

【参考方案1】：

MEX API（包括mx* 函数）是NOT thread safe (MathWorks Support Team)。您只能从 MATLAB 主线程调用 mx*/mex* 函数，但有一些例外（见底部）。在与pthread_create 一起启动的doThread 中，您正在调用几个不能在那里使用的函数：

mxCreateCellMatrix mxCreateDoubleMatrix mxSetCell

您必须将纯旧数据传入和传出doThread，并在pthread_create 调用的线程之外管理元胞数组。除了example from MathWorks，它演示了如何使用 Windows API 进行多线程处理，Dirk-Jan Kroon 在his tutorial on the File Exchange 和his non-rigid registration submission 中提供了另一个使用 Pthreads 和 Windows API 对 MEX 函数进行多线程处理的好例子。 .在 MexThread submission 中使用 std::thread 的 C++11 方法也值得一试。

异常 (YMMV)：mexErrMsgIdAndTxt。

【讨论】：

哇，我没有意识到我什至不能在线程中使用printf。也感谢您提供示例。

@agnussmcferguss 有一些例外，这可能就是其中之一。我不记得我在哪里读到的...

哦，好吧，我从 MathWorks 支持团队那里得到了这些信息，答案是：“没有 MEX API 函数可以在包含 printf 的衍生线程中使用，因为 printf 在 mex.h 标头中被定义为 mexPrintf文件”。

@agnussmcferguss 没错，it is an alias.。 :) 我的意思是，尽管 MathWorks 官方表示 no MEX API 函数，但仍有一些已被制成线程安全的，mexPrintf 可能是其中之一，尽管他们的官方回答。无论如何，您始终可以使用printf_s 或类似的东西，但无论如何它都不会打印，因为没有可见的标准输出。

@agnussmcferguss 这提醒了我，如果你想要 stdio.h 中的那个，你可以把 #undef printf 放在 #include "mex.h" 之后，但它可能不会在 MATLAB 命令窗口中打印任何内容。