Python 多进程池

Posted callyblog

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python 多进程池相关的知识,希望对你有一定的参考价值。

def get_html(n):
time.sleep(n)
print("sub_progress success")
return n

# 多进程池
  pool = multiprocessing.Pool(multiprocessing.cpu_count()) result = pool.apply_async(get_html, args=(3,)) # 类似线程池中的sumbmit #等待所有任务完成 pool.close() # 在join前,必须先关闭,停止接收 pool.join() print(result.get())

 

def get_html(n):
time.sleep(n)
print("sub_progress success")
return n

pool = multiprocessing.Pool(multiprocessing.cpu_count())
for result in pool.imap(get_html, [1,5,3]): # 会按照顺序输出
        print(" sleep success".format(result))

 

def get_html(n):
    time.sleep(n)
    print("sub_progress success")
    return n

pool = multiprocessing.Pool(multiprocessing.cpu_count())
    for result in pool.imap_unordered(get_html, [1,5,3]): # 不会按照顺序输出
        print(" sleep success".format(result))

 

以上是关于Python 多进程池的主要内容,如果未能解决你的问题,请参考以下文章

使用线程池多线程爬取链接,检验链接正确性

python多进程报错load_eof

python 多进程

python多进程和多线程的区别

python 多进程和多线程配合

python多进程数据库储存问题?