python多线程queue导致的死锁问题

Posted 2020-09-21

写了个多线程的python脚本，结果居然死锁了。调试了一整天才找到原因，是我使用queue的错误导致的。

 

为了说明问题，下面是一个简化版的代码。注意，这个代码是错的，后面会说原因和解决办法。

import Queue
import threading

queue = Queue.Queue()

def test(q):
    while True:
        if q.qsize() != 0:
            d = q.get()
            print d
        else:
            break

def main():
    global queue
    n = 100
    for i in range(66):
        queue.put(i)
    
    threads = []
    for i in range(n)
        threads.append(threading.Thread(target=test, args = (queue,)))
    
    for i in range(n):
        threads[i].start()
    for i in range(n):
        threads[i].join()

 

上面这个代码是会造成死锁的。原因就在下面这一小段。

    while True:
        if q.qsize() != 0:
            d = q.get()

由于有多个线程同时运行此段代码，所以队列q是各个线程共享的。

如果在q只剩一个数据的时候，有3个线程都运行到if q.qsize() != 0:，那么这3个线程都会满足此条件。从而继续运行。

然后，在d = q.get()处，只有一个线程能够取到数据，此后队列为空，另外两个线程无法取得数据，从而锁死在此处。

 

解决方法：加锁

import Queue
import threading

queue = Queue.Queue()
mutex = threading.Lock()

def test(q):
    global mutex
    while True:
        mutex.acquire()
        if q.qsize() != 0:
            d = q.get()
            mutex.release()
            print d
        else:
            mutex.release()
            break

def main():
    global queue
    n = 100
    for i in range(66):
        queue.put(i)
    
    threads = []
    for i in range(n)
        threads.append(threading.Thread(target=test, args = (queue,)))
    
    for i in range(n):
        threads[i].start()
    for i in range(n):
        threads[i].join()