回答粉丝疑问:Spark为什么调优需要降低过多小任务，降低单条记录的资源开销?

Posted 2021-09-26 manor的大数据奋斗之路

降低过多小任务:

filter操作使用不当，很容易引发麻烦。假如一个任务有3个parition，经过filger过滤之后，可能导致部分剩下很少，有些剩余很多，剩余很多的在下一步计算量很大，会拖后腿，其他的作业很快就做完了，而剩余很多的要执行很长时间，整个任务都要延误，而其他很快执行完的作业早就释放资源了
造成资源还的浪费

对于这种场景有2种优化策略：

1）coalses：合并已有的partiion，性能非常高，但是很有可能还不是很均与，
大的依旧很大，小的进行了合并

2）repartion：根据数据量灯亮划分，每个partion尽可能均匀，会经过一次shuffle比较均匀

降低单条记录开销

做过Java连接数据库操作的人都知道，要尽量避免数据库链接的频繁建立和断开，方法很多，比如数据库连接池的发明。单机版本对数据库的连接操作比较容易管理和控制，但在分布式环境下，数据库的连接管理和控制很麻烦，数据的连接是不可序列化的，因此分布式环境下，统一管理数据库连接显然是不靠谱的。比如这段代码，如果写数据到数据库，就会频繁建立和断开连接，显然是低效率的。因为数据库连接的不可序列化，你也不可能把conn拿出来。

解决方法是：使用mapPartitions或者mapWith操作符

原因在于mapPartitions是map的调用的粒度不同，map的输入变换函数是应用于RDD中每个元素，而mapPartitions的输入函数是应用于每个分区。

假设一个rdd有10个元素，分成3个分区。如果使用map方法，map中的输入函数会被调用10次；而使用mapPartitions方法的话，其输入函数会只会被调用3次，每个分区调用1次。在大数据集情况下的资源初始化开销和批处理处理，尤其数据库链接操作，显得特别好用。