网络编程——线程池

Posted loren2o

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了网络编程——线程池相关的知识,希望对你有一定的参考价值。

在一个池子里,放固定数量的线程,这些线程等待任务,一旦有任务来,就有线程自发的去执行任务。

 

concurrent.futures  这个模块是异步调用的机制

concurrent.futures  提交任务都是用submit

for + submit 多个任务的提交

shutdown 是等效于Pool中的close + join ,是不允许再继续向池中增加任务,然后让父进程(线程)等待池中所有进程执行完所有任务。

 

如何把多个任务扔进池中?

  要么使用 for+ submit 的方式去提交多个任务

 

  要么直接使用map(func,iterable)方式去提交多个任务

  

from concurrent.futures import ThreadPoolExecutor
import time

def func(num):
    sum = 0
    for i in range(num):
        sum += i **2
    print(sum)

t = ThreadPoolExecutor(20)
start = time.time()
t.map(func, range(1000))
t.shutdown()
print(time.time() - start)

 

不同的方式提交多个任务(for + submit 或者map), 拥有不同的拿结果的方式

  如果是for + submit 的方式提交任务,拿结果用result方法

  如果是用map的方式提交任务,结果是一个生成器,采用__next__()的方式去拿结果

 

from concurrent.futures import ThreadPoolExecutor

def func(num):
    sum = 0
    for i in range(num):
        sum += i **2
    return sum

t = ThreadPoolExecutor(20)

res = t.map(func, range(100))
t.shutdown()

while 1:
    try:
        print(res.__next__())
    except:
        StopIteration

 

关于回调函数,不管是Pool进程池的方式,还是ProcessPoolExecutor的方式开启进程池,

回调函数都是由父进程调用

 

关于回调函数,ThreadPoolExecutor

回调函数是由父进程调用

 

以上是关于网络编程——线程池的主要内容,如果未能解决你的问题,请参考以下文章

线程池与并行度

Java——线程池

Motan在服务provider端用于处理request的线程池

Java线程池详解

Java线程池详解

Java 线程池详解