多线程Python进程，队列和锁相关的一些问题

Posted 2020-08-02 inns

1.需求

一般的服务都提供一个代理或者监听进程，接收网络数据，然后根据数据类型分发到业务处理进程。

业务处理进程再根据实际情况处理或者创建新的进程线程。

 

我这里有一个listen_task监听进程，定义queue_from_net队列

__listen_control负责把网络数据缓存放入queue_from_net

__listen_handle负责从queue_from_net获取处理数据，并根据实际情况，

新建两个__query_schedule进程放入query_queue或者select_queue队列由__query_schedule处理

或者关闭__query_schedule进程

 

2、实现

 

__listen_control将网络数据放入到queue_from_net队列

 

__listen_handle根据start或者stop来创建或者终止__query_schedule进程

 

 

__query_schedule从队列中get处理

 

3.问题

 

__query_schedule在queue_from_listen_task队列get之前，打印出队列长度queue come in

启动成功__query_schedule一次之后，停止之后，再重新开始queue come in size为1，正常预期get出来之后queue_from_listen_task长度变为0

关闭之后，再启动，__query_schedule打印queue come in size为2，上一次get没有获取成功队列。

 

猜测是进程terminate的时候，队列锁没有释放，导致后面的队列GET不到

 

4.解决

在terminate进程之前，显示的把队列释放掉，task_done()

 

再次尝试，问题解决