多处理,Python3,Windows:TypeError:无法腌制 _thread.lock 对象

Posted

技术标签:

【中文标题】多处理,Python3,Windows:TypeError:无法腌制 _thread.lock 对象【英文标题】:Multiprocessing, Python3, Windows: TypeError: can't pickle _thread.lock objects 【发布时间】:2019-02-19 12:44:02 【问题描述】:

在运行 Python 3.6 的 Windows 10 系统上,当尝试使用 multiprocessing.Process 创建新的 rq 工作者时,

multiprocessing.Process(target=Worker(qs).work, kwargs='burst': True).start()     

我们遇到了错误

TypeError: can't pickle _thread.lock objects

OSError: [WinError 87] 参数不正确

使用rq.SimpleWorker 代替rq.Worker,因为Windows 不支持rq.Worker 使用的fork 函数。

问题:是什么导致了这个错误?我们该如何解决?

from rq import SimpleWorker, Connection

def needMoreWorkers():
    return True

if __name__ == '__main__':
    qs = sys.argv[1:] or ['default']
    with Connection(connection=my_redis_conn):
        if needMoreWorkers():
            multiprocessing.Process(target=SimpleWorker(qs).work, kwargs='burst': True).start()     

错误回溯

Traceback (most recent call last):
File "WorkerFactory.py", line 53, in <module>
    main(qs)
File "WorkerFactory.py", line 45, in main
    multiprocessing.Process(target=SimpleWorker(qs)).start()
File "C:\Users\x\AppData\Local\Continuum\anaconda3\envs\test\lib\multiprocessing\process.py", line 105, in start
    self._popen = self._Popen(self)
File "C:\Users\x\AppData\Local\Continuum\anaconda3\envs\test\lib\multiprocessing\context.py", line 223, in _Popen
    return _default_context.get_context().Process._Popen(process_obj)
File "C:\Users\x\AppData\Local\Continuum\anaconda3\envs\test\lib\multiprocessing\context.py", line 322, in _Popen
    return Popen(process_obj)
File "C:\Users\x\AppData\Local\Continuum\anaconda3\envs\test\lib\multiprocessing\popen_spawn_win32.py", line 65, in __init__
    reduction.dump(process_obj, to_child)
File "C:\Users\x\AppData\Local\Continuum\anaconda3\envs\test\lib\multiprocessing\reduction.py", line 60, in dump
    ForkingPickler(file, protocol).dump(obj)
TypeError: can't pickle _thread.lock objects

(test) C:\Code\test\source>Traceback (most recent call last):
File "<string>", line 1, in <module>
File "C:\Users\x\AppData\Local\Continuum\anaconda3\envs\test\lib\multiprocessing\spawn.py", line 99, in spawn_main
    new_handle = reduction.steal_handle(parent_pid, pipe_handle)
File "C:\Users\x\AppData\Local\Continuum\anaconda3\envs\test\lib\multiprocessing\reduction.py", line 82, in steal_handle
    _winapi.PROCESS_DUP_HANDLE, False, source_pid)
OSError: [WinError 87] The parameter is incorrect   

【问题讨论】:

【参考方案1】:

据我所知,是 Pickle 模块导致了这个问题。它必须在另一个模块的某个地方导入。无论如何,pickle 用于保存数据,但它显然不能“腌制” thread.lock 对象。至于如何修复它,请检查所有函数调用并确保传入正确的变量类型。

【讨论】:

以上是关于多处理,Python3,Windows:TypeError:无法腌制 _thread.lock 对象的主要内容,如果未能解决你的问题,请参考以下文章

在 Windows,Python3.8 上使用多处理时如何更新 tkinter 应用程序中的状态

Windows 上的 Python DEAP 和多处理:AttributeError

Windows下安装python2和python3多版本教程 转

Python3多处理多依赖

用python3的多进程和协程处理MySQL的数据

处理对象方法的Python3多处理池未获取对象的更新数据