Python之进程

Posted 2020-11-08 M_派森

简单介绍

在搭建macaca并行测试的同时使用了Python多进程的方法，目的是想多台设备同时进行测试，如果等待一台设备单独跑完再进行下一个设备，想像一下有二十台设备的情况，跑完测试脚本那得需要很长时间呀？使用多进程方法确实方便很多，但是在使用过程中也发现了问题。我是使用三个模拟器和一台真机测试的，三个模拟器都跑完了，真机还没有开始，时间差距还是有的，可能是因为电脑的CPU核数不够吧。

 

实际操作

由于Python是跨平台的，自然也应该提供一个跨平台的多进程支持。multiprocessing模块就是跨平台版本的多进程模块。

一、Process

multiprocessing模块提供了一个Process类来代表一个进程对象，下面的例子演示了启动一个子进程并等待其结束：

代码如下：

from multiprocessing import Process

import os

# 子进程要执行的代码

def run_proc(name):

    print(‘Run child process %s (%s)...‘ % (name, os.getpid()))

if __name__==‘__main__‘:

    print(‘Parent process %s.‘ % os.getpid())

    p = Process(target=run_proc, args=(‘test‘,))

    print(‘Child process will start.‘)

    p.start()

    p.join()

    print(‘Child process end.‘)

结果如下：

Parent process 928.

Process will start.

Run child process test (929)...

Process end.

这里需要注意的是使用start()启动进程，join()方法可以等待子进程结束后再继续往下运行，通常用于进程间的同步。

二、Pool

我在构建macaca多进程的时候使用的是Pool方法，如果要启动大量的子进程，可以用进程池的方式批量创建子进程：

代码如下：

from multiprocessing import Pool

import os, time, random

def long_time_task(name):

    print(‘Run task %s (%s)...‘ % (name, os.getpid()))

    start = time.time()

    time.sleep(random.random() * 3)

    end = time.time()

    print(‘Task %s runs %0.2f seconds.‘ % (name, (end - start)))

if __name__==‘__main__‘:

    print(‘Parent process %s.‘ % os.getpid())

    p = Pool(4)

    for i in range(5):

        p.apply_async(long_time_task, args=(i,))

    print(‘Waiting for all subprocesses done...‘)

    p.close()

    p.join()

    print(‘All subprocesses done.‘)

结果如下：

Parent process 669.

Waiting for all subprocesses done...

Run task 0 (671)...

Run task 1 (672)...

Run task 2 (673)...

Run task 3 (674)...

Task 2 runs 0.14 seconds.

Run task 4 (673)...

Task 1 runs 0.27 seconds.

Task 3 runs 0.86 seconds.

Task 0 runs 1.41 seconds.

Task 4 runs 1.91 seconds.

All subprocesses done.

Pool类可以提供指定数量的进程供用户调用，当有新的请求提交到Pool中时，如果池还没有满，就会创建一个新的进程来执行请求。如果池满，请求就会告知先等待，直到池中有进程结束，才会创建新的进程来执行这些请求。 

下面介绍一下multiprocessing 模块下的Pool类下的几个方法：

apply()

函数原型：

apply(func[, args=()[, kwds={}]])

该函数用于传递不定参数，主进程会被阻塞直到函数执行结束（不建议使用，并且3.x以后不在出现）。

apply_async()

函数原型：

apply_async(func[, args=()[, kwds={}[, callback=None]]])

与apply用法一样，但它是非阻塞且支持结果返回进行回调。

map()

函数原型：

map(func, iterable[, chunksize=None])

Pool类中的map方法，与内置的map函数用法行为基本一致，它会使进程阻塞直到返回结果。 

注意，虽然第二个参数是一个迭代器，但在实际使用中，必须在整个队列都就绪后，程序才会运行子进程。

close()

关闭进程池（pool），使其不在接受新的任务。

terminate()

结束工作进程，不在处理未处理的任务。

join()

主进程阻塞等待子进程的退出，join方法必须在close或terminate之后使用。

 

参考：

多进程

Python 多进程 multiprocessing.Pool类详解