嵌入式 Python 应用程序中 Py_Finalize 期间的致命错误

Posted 2023-02-23

【中文标题】嵌入式 Python 应用程序中 Py_Finalize 期间的致命错误

【英文标题】：Fatal error during Py_Finalize in embedded Python application

【发布时间】：2014-11-29 20:57:06

【问题描述】：

感谢您对此提供的帮助 - 这个问题的变体已被多次询问，但我还没有找到完整的答案。我正在将嵌入式 Python 3.4.2 添加到使用 MS MFC 类以 C++ 编写的现有模拟器工具中。该应用程序是多线程的，因此用户可以执行 Python 脚本并与模拟器系统交互。

如何成功退出？ 我是否以正确的顺序使用 GIL 和线程状态命令？ 我是不是提前结束了 Python 解释器线程，破坏了 Python 线程整合机制？

我的问题是，当我调用 Py_Finalize 时，它​​会调用 wait_for_thread_shutdown，然后调用 PyThreadState_Get，并遇到致命错误“PyThreadState_Get：没有当前线程”。根据检测到致命错误的点，它似乎与多线程嵌入式 Python 应用程序末尾的线程合并有关。

我已经压缩了我的代码以澄清它并消除任何看起来不相关的东西。如果我走得太远或不够远，我深表歉意。主线程初始化并完成 Python。

BOOL CSimApp::InitInstance()

    ...
    // Initialize command table for appl. object and for documents
    int iReturn = PyImport_AppendInittab("sim", &PyInit_SimApp);
    iReturn = PyImport_AppendInittab("sim_doc", &PyInit_SimDoc);

    // Initialize Python and prepar to create threads
    _pHInstance = new CPyInstance();
    ...


int CSimApp::ExitInstance() 

    ...
    if (_pHInstance) 
        delete _pHInstance;
        _pHInstance = NULL;
    
    ...

我正在使用实用程序类来创建 Python 实例 (CPyInstance) 并管理 Python GIL (ACQUIRE_PY_GIL)。初始化应用程序时，还会创建一个 CPyInstance 实例。 CPyInstance 类初始化并完成 Python 线程管理。 Python 全局锁管理是通过 ACQUIRE_PY_GIL 和 RELEASE_PY_GIL 结构完成的。

class CPyInstance

public:
    CPyInstance();
    ~CPyInstance();
    static PyThreadState * mainThreadState;
;

inline CPyInstance::CPyInstance()

    mainThreadState = NULL;
    Py_Initialize();
    PyEval_InitThreads();
    mainThreadState = PyThreadState_Get();
    PyEval_ReleaseLock();


inline CPyInstance::~CPyInstance()

    Py_Finalize();


static CPyInstance    *_pHInstance = NULL;

int PyExit()

    if (_pHInstance) 
        delete _pHInstance;
        _pHInstance = NULL;
    
    return 0;


struct ACQUIRE_PY_GIL 
    PyGILState_STATE state;
    ACQUIRE_PY_GIL()  state = PyGILState_Ensure(); 
    ~ACQUIRE_PY_GIL()  PyGILState_Release(state); 
;

struct RELEASE_PY_GIL 
    PyThreadState *state;
    RELEASE_PY_GIL()   state = PyEval_SaveThread(); 
    ~RELEASE_PY_GIL()  PyEval_RestoreThread(state); 
;

Python 解释器线程是为响应由 CMainFrame 窗口处理的 Windows 消息而创建的。 Python 线程和解释器响应用户命令而运行。当用户完成解释器（Control-Z）时，解释器退出，线程清除并删除 Python 线程状态，然后线程自行终止。

void CMainFrame::OnOpenPythonInterpreter()

    // Create PyThread thread
    m_pPyThread = (CPyThread*)AfxBeginThread(RUNTIME_CLASS(CPyThread),
                    THREAD_PRIORITY_BELOW_NORMAL,0, CREATE_SUSPENDED);
    CMainFrame* mf = (CMainFrame*)theApp.m_pMainWnd;
    m_pPyThread->SetOwner(this,((CWnd*)mf)->GetSafeHwnd());
    m_pPyThread->CreateLocks(&m_PyThreadEvent,&m_PyThreadBusyMutex);
    m_pPyThread->ResumeThread();

CPyThread 类实际上调用了 Python 解释器。当解释器返回时，GIL 被释放，Python 线程状态被清除和删除。线程响应 PostQuitMessage 终止。

int CPyThread::Run() 

    PyEval_AcquireLock();
    PyInterpreterState * mainInterpreterState = CPyInstance::mainThreadState->interp;
    PyThreadState * myThreadState = PyThreadState_New(mainInterpreterState);
    PyEval_ReleaseLock();

    try 
        ACQUIRE_PY_GIL    lock;
        FILE* fp1 = stdin;
        char *filename = "Embedded";
        PyRun_InteractiveLoop(fp1, filename);
     catch(const std::exception &e) 
        safe_cout << "Exception in PyRun_InteractiveLoop: " << e.what() << "\n";
     catch(...) 
        std::cout << "Exception in Python code: UNKNOWN\n";
    

    PyThreadState_Clear(myThreadState);
    PyThreadState_Delete(myThreadState);

    ::PostQuitMessage(0);
    return 0;


int CPyThread::ExitInstance() 

    return CWinThread::ExitInstance();

在“user4815162342”的建议下，我修改了我的 ~CPyInstance() 析构函数以在调用 Py_Finalize() 之前获取 GIL。现在我的应用程序似乎可以正常退出了，谢谢。

inline CPyInstance::~CPyInstance()

    try 
        PyGILState_STATE state = PyGILState_Ensure();
        Py_Finalize();
     catch(const std::exception &e) 
        safe_cout << "Exception in ~CPyInstance(): " << e.what() << "\n";
     catch(...) 
        std::cout << "Exception in Python code: UNKNOWN\n";
    

【问题讨论】：

你能同时运行多个CPyThread吗？

我还没有实现避免创建两个 CPyThread 的机制，但我只是用调试器检查了一个主线程和一个 CPyThread 线程发生了致命错误。

在致电Py_Finalize 期间您没有持有 GIL。这看起来不正确，因为所有 Python C API 函数都希望持有 GIL（当然用于获取 GIL 的函数除外）。

Clifford，我尝试用括号括起对 Py_Finalize 的调用，我收到一条不同的致命消息，“致命 Python 错误：自动释放线程状态，但此线程没有线程状态”跨度>

（更正后的帖子）Clifford，我尝试用 PyGILState_Ensure/PyGILState_Release 括起对 Py_Finalize 的调用，我收到了不同的致命消息，“致命 Python 错误：自动释放线程状态，但没有线程状态对于这个线程”。在 PyGILState_Release 方法期间发生了致命错误，所以我刚刚获得了 GIL 锁，运行 Py_Finalize() 并且它可以工作，谢谢！

【参考方案1】：

您在调用Py_Finalize 时没有持有全局解释器锁。这是不允许的：必须为每个 Python API 调用持有锁，只有获取 GIL 本身的调用例外。

ACQUIRE_PY_GIL RAII 守卫对此没有用处，因为它会在 Py_Finalize 返回后尝试释放 GIL — 在这种情况下，您必须调用 PyGILState_Ensure 而不使用匹配的释放。