pandas并发处理数据神器Pandarallel的实战代码

Posted 2023-01-19 herosunly

  大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，科大讯飞比赛第三名，CCF比赛第四名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法行业就业。希望和大家一起成长进步。

  最近和订阅专栏的几位同学一起复盘分析参加的AI比赛，大家都谈到了能否提升程序的运行效率，否则就很容易受到某一个步骤的影响，导致整个数据处理流程都显得很慢。由于Python默认情况下是单线程的，所以要突破瓶颈，就需要并发处理数据。根据调研和实战发现，Pandarallel是最适合的方法。

文章目录

• 1. 不推荐的方案multiprocessing
• • 1.1 关键参数cpu_count
• 2. Pandarallel实战代码
• • 2.1 安装方法
  • 2.2 实战代码一
  • 2.3 实战代码二
  • 2.4 注意事项

1. 不推荐的方案multiprocessing

  在正式介绍之前，为了方便理解，咱们先引入一个示例数据和示例函数，从而方便咱们后续的实战演示。