python 多线程笔记-- 生产者/消费者模式

Posted 2020-06-13

 

我们已经知道，对公共资源进行互斥访问，可以使用Lock上锁，或者使用RLock去重入锁。

 

但是这些都只是方便于处理简单的同步现象，我们甚至还不能很合理的去解决使用Lock锁带来的死锁问题。

要解决更复杂的同步问题，就必须考虑别的办法了。

 

threading提供的Condition对象提供了对复杂线程同步问题的支持。

Condition被称为条件变量，除了提供与Lock类似的acquire和release方法外，还提供了wait和notify方法。

 

使用Condition的主要方式为：

线程首先acquire一个条件变量，然后判断一些条件。如果条件不满足则wait；如果条件满足，进行一些 处理改变条件后，通过notify方法通知其他线程，其他处于wait状态的线程接到通知后会重新判断条件。不断的重复这一过程，从而解决复杂的同步问 题。

 

下面我们通过很著名的“生产者-消费者”模型来来演示下，在Python中使用Condition实现复杂同步。

 

生产者和消费者，各一个线程，双方将会围绕products来产生同步问题，首先是2个生成者生产products ，而接下来的10个消费者将会消耗products

import threading
import time
 
condition = threading.Condition()
products = 0
 
class Producer(threading.Thread):
    ‘‘‘生产者‘‘‘
    ix = [0] # 生产者实例个数
             # 闭包，必须是数组，不能直接 ix = 0
    def __init__(self, ix=0):
        super().__init__()
        self.ix[0] += 1
        self.setName(‘生产者‘ + str(self.ix[0]))
 
    def run(self):
        global condition, products
        
        while True:
            if condition.acquire():
                if products < 10:
                    products += 1;
                    print("{}：库存不足(10-)。我努力生产了1件产品，现在产品总数量 {}".format(self.getName(), products))
                    condition.notify()
                else:
                    print("{}：库存充足(10+)。让我休息会儿，现在产品总数量 {}".format(self.getName(), products))
                    condition.wait();
                condition.release()
                time.sleep(2)


class Consumer(threading.Thread):
    ‘‘‘消费者‘‘‘
    ix = [0] # 消费者实例个数
             # 闭包，必须是数组，不能直接 ix = 0
    def __init__(self):
        super().__init__()
        self.ix[0] += 1
        self.setName(‘消费者‘ + str(self.ix[0]))
 
    def run(self):
        global condition, products
        
        while True:
            if condition.acquire():
                if products > 1:
                    products -= 1
                    print("{}：我消费了1件产品，现在产品数量 {}".format(self.getName(), products))
                    condition.notify()
                else:
                    print("{}：只剩下1件产品，我停止消费。现在产品数量 {}".format(self.getName(), products))
                    condition.wait();
                condition.release()
                time.sleep(2)



if __name__ == "__main__":
    for i in range(2):
        p = Producer()
        p.start()
 
    for i in range(10):
        c = Consumer()
        c.start()

 

另外：

Condition对象的构造函数可以接受一个Lock/RLock对象作为参数，

如果没有指定，则Condition对象会在内部自行创建一个 RLock；

除了notify方法外，Condition对象还提供了notifyAll方法，可以通知waiting池中的所有线程尝试acquire 内部锁。

由于上述机制，处于waiting状态的线程只能通过notify方法唤醒，所以notifyAll的作用在于防止有线程永远处于沉默状态。