多线程Python进程,队列和锁相关的一些问题

Posted inns

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了多线程Python进程,队列和锁相关的一些问题相关的知识,希望对你有一定的参考价值。

1.需求

一般的服务都提供一个代理或者监听进程,接收网络数据,然后根据数据类型分发到业务处理进程。

业务处理进程再根据实际情况处理或者创建新的进程线程。

 

我这里有一个listen_task监听进程,定义queue_from_net队列

__listen_control负责把网络数据缓存放入queue_from_net

__listen_handle负责从queue_from_net获取处理数据,并根据实际情况,

新建两个__query_schedule进程放入query_queue或者select_queue队列由__query_schedule处理

或者关闭__query_schedule进程

 

2、实现

 

__listen_control将网络数据放入到queue_from_net队列

image

 

__listen_handle根据start或者stop来创建或者终止__query_schedule进程

image

 

 

__query_schedule从队列中get处理

image

 

3.问题

 

__query_schedule在queue_from_listen_task队列get之前,打印出队列长度queue come in

启动成功__query_schedule一次之后,停止之后,再重新开始queue come in size为1,正常预期get出来之后queue_from_listen_task长度变为0

关闭之后,再启动,__query_schedule打印queue come in size为2,上一次get没有获取成功队列。

image

 

猜测是进程terminate的时候,队列锁没有释放,导致后面的队列GET不到

 

4.解决

在terminate进程之前,显示的把队列释放掉,task_done()

image

 

再次尝试,问题解决

以上是关于多线程Python进程,队列和锁相关的一些问题的主要内容,如果未能解决你的问题,请参考以下文章

Python线程队列与多处理管道

iOS底层探索之多线程—GCD的队列

python多线程全局变量和锁

python进程相关 - 多线程threading库

第七天学习多线程同步和锁

第七天学习多线程同步和锁