Python - 多进程map的使用方法

Posted 2021-08-02 SpikeKing

Python的map多进程处理方式

1. 调用map分布式处理函数
2. 单参数函数调用多参数函数
3. 多参数处理的核心流程

分布式处理函数，param_list是参数列表，例如：

pool = Pool(processes=5)
pool.map(process_line_core, param_list)
pool.close()
pool.join()

单参数函数，将参数拆分为多个参数，例如：

@staticmethod
def process_line_core(data):
    return process_line(data[0], data[1], data[2], data[3], data[4])

多参数函数，例如：

@staticmethod
def process_line(idx, data, img_url, out_file, err_file):
    print('[Info] img_url: {}, idx: {}'.format(img_url, idx))

That’s all!