Python多线程常用包对比

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python多线程常用包对比相关的知识,希望对你有一定的参考价值。

python由于本身的特质,不能实现真正的多核并行运算,但是有一些第三方库较好地模拟了在多核环境下的并行运算,例如pp包以及multiprocessing,那么哪种更能充分利用多核心呢?

这里我简单做下对比,首先放上结论:multiprocessing是最优秀的。

在实测过程中,我的CPU是4核8线程,multiprocessing能充分利用多核运算优势,使得每一颗CPU核心的负载基本相当,并且能够在8个进程核心上负载相当,总体上占满CPU性能,而pp包只能利用好4颗物理核心,对剩下的4个虚拟核心基本无视。

下面的示例代码,供大家运行参考:

import multiprocessing
import time
import pp

def func(N):
    sum = 0
    for i in xrange(N):
        sum += i
    return sum

if __name__ == "__main__":
    multiprocessing.freeze_support()

    start = time.clock()
    for i in xrange(200000):
        sum = func(10000)
    print ">> normal: ", time.clock()-start

    start = time.clock()
    pool = multiprocessing.Pool(processes=8)
    jobs = []
    for i in xrange(200000):
        jobs.append(pool.apply_async(func, (10000, )))
    pool.close()
    pool.join()
    print ">> multiprocessing: ", time.clock() - start

    start = time.clock()
    jobs = []
    job_server = pp.Server()
    job_server.set_ncpus(8)
    for i in xrange(200000):
        jobs.append(job_server.submit(func, (10000, )))
    job_server.wait()
    print ">> pp: ", time.clock() - start
    job_server.print_stats()

  

以上是关于Python多线程常用包对比的主要内容,如果未能解决你的问题,请参考以下文章

python之多线程执行和非线程执行的对比

Python并发编程04/多线程

Python 3多线程编程学习笔记-基础篇

单线程和多线程执行对比—Python多线程编程

python小白学习记录 多线程爬取ts片段

011_Python中单线程多线程和多进程的效率对比实验