day38——多进程Manager进程池

Posted 2020-10-17 落后乞丐

强大的Manage
上一篇的数据共享的方式只有两种结构Value和Array。Python中提供了强大的Manage专门用来做数据共享的，其支持的类型非常多，包括，Value， Array，list，dict， Queue, Lock等。

 1 from multiprocessing import Process, Manager
 2 def func(dt, lt):
 3     for i in range(10):
 4         key = ‘arg‘ + str(i)
 5         dt[key] = i * i
 6 
 7     lt += range(11, 16)
 8 if __name__ == "__main__":
 9     manager = Manager()
10     dt = manager.dict()
11     lt = manager.list()
12 
13     p = Process(target=func, args=(dt, lt))
14     p.start()
15     p.join()
16     print(dt)
17     print(lt)
18 
19 输出结果：
20 {‘arg8‘: 64, ‘arg9‘: 81, ‘arg0‘: 0, ‘arg1‘: 1, ‘arg2‘: 4, ‘arg3‘: 9, ‘arg4‘: 16, ‘arg5‘: 25, ‘arg6‘: 36, ‘arg7‘: 49}
21 [11, 12, 13, 14, 15]

 

进程池

Pool可以提供指定数量的进程，供用户调用，当有新的请求提交到pool中时，如果池还没有满，那么就会创建一个新的进程用来执行该请求；但如果池中的进程数已经达到规定最大值，那么该请求就会等待，直到池中有进程结束，才会创建新的进程。

例子

 1 import multiprocessing
 2 import time
 3 def fun(msg):
 4     print("############start######{0}".format(msg))
 5     time.sleep(3)
 6     print("########end########{0}".format(msg))
 7 
 8 if __name__=="__main__":
 9     pool = multiprocessing.Pool(processes=3)
10     for i in xrange(1,6):
11         msg = "hell{0}".format(i)
12         pool.apply_async(fun,(msg,))
13     print("#########start main########")
14     pool.close()
15     pool.join()
16     #调用join之前，先调用close函数，否则会出错。执行完close后不会有新的进程加入到pool,join函数等待所有子进程结束
17     print("#########end main##############")
18 
19 输出结果：
20 ########start main########
21 ############start######hell1
22 ############start######hell2
23 ############start######hell3
24 ########end########hell1
25 ############start######hell4
26 ########end########hell2
27 ############start######hell5
28 ########end########hell3
29 ########end########hell4
30 ########end########hell5
31 #########end main##############

 

进程池
阻塞和非阻塞的区别：

Pool.apply_async 非阻塞，定义的进程池进程最大数可以同时执行。

Pool.apply 一个进程结束，释放回进程池，下一个进程才可以开始