王家林谈Spark性能优化第六季

Posted 2020-06-23

内容：

1、关于Shuffle的再次说明；

2、Shuffle性能优化；

核心能力就是能轻松的驾驭Shuffle，有Hash、Sort、钨丝计划，应对不同场景，Spark1.6.0是默认的SortBasedShuffle

从比较通用的方面来谈Shuffle，之前已经从Hash和Sort两个角度谈Shuffle

==========Shuffle性能调优============

1、问题： Shuffle output file lost？真正的原因是GC导致的！！！如果 GC尤其是Full GC 产生通常会导致线程停止工作，这个时候下一个 Stage的Task 在默认情况下就会尝试重试来获取数据，一般重试 3次每次重试的时间为5s，也就是说默认情况下 15s内如果还是无法抓到数据的话，就会出现 Shuffle output file lost等情况，进而会导致Task重试，甚至会导致 Stage重试，最严重的是会导致 App失败；在这个时候首先就要采用高效的内存数据结构和序列化机制、 JVM的调优来减少Full GC的产生；

2、在Shuffle的时候，Reducer端获取数据会有一个指定大小的缓存空间，如果内存足够达到情况下，可以适当的增大该缓存空间，否则会spill到磁盘上，影响效率。

此时可以调整（增大）spark.reducer.maxSizeInFlight参数，如果内存足够，可以调整到128MB以上，默认是48MB；

3、在ShuffleMapTask端通常也会增大Map任务的写磁盘的缓存，默认情况下是32K；

spark.shuffle.file.buffer 32k ；

4、调整获取Shuffle数据的重试次数，默认是3次，通常建议增大重试次数；

调整获取Shuffle数据重试的时间间隔，默认5s，强烈建议提高该时间，spark.shuffle.io.retryWait 5s ；

5、在reducer端做 Aggregation的时候，默认是20%的内存用来做 Aggregation，如果超出了这个大小就会溢出到磁盘上，建议调大百分比来提高性能；

王家林老师名片：

中国Spark第一人

新浪微博：http://weibo.com/ilovepains

微信公众号：DT_Spark

博客：http://blog.sina.com.cn/ilovepains

手机：[phone]

QQ：1740415547

邮箱：[email protected]

本文出自 “一枝花傲寒” 博客，谢绝转载！