spark-一些参数优化

Posted 2020-11-21

Spark程序优化所需要关注的几个关键点——最主要的是数据序列化和内存优化

spark 设置相关参数
问题1：reduce task数目不合适
解决方法：需根据实际情况调节默认配置，调整方式是修改参数spark.default.parallelism。通常，reduce数目设置为core数目的2到3倍。数量太大，造成很多小任务，增加启动任务的开销；数目太少，任务运行缓慢。
如果你想了解大数据的学习路线，想学习大数据知识以及需要免费的学习资料可以加群：784789432.欢迎你的加入。每天下午三点开直播分享基础知识，晚上20:00都会开直播给大家分享大数据项目实战。

问题2：shuffle磁盘IO时间长
解决方法：设置spark.local.dir为多个磁盘，并设置磁盘为IO速度快的磁盘，通过增加IO来优化shuffle性能；

问题3：map|reduce数量大，造成shuffle小文件数目多
解决方法：默认情况下shuffle文件数目为map tasks * reduce tasks. 通过设置spark.shuffle.consolidateFiles为true，来合并shuffle中间文件，此时文件数为reduce tasks数目；

问题4：序列化时间长、结果大
解决方法：Spark默认使.用JDK.自带的ObjectOutputStream，这种方式产生的结果大、CPU处理时间长，可以通过设置spark.serializer为org.apache.spark.serializer.KryoSerializer。另外如果结果已经很大，可以使用广播变量；

问题5：单条记录消耗大
解决方法：使用mapPartition替换map，mapPartition是对每个Partition进行计算，而map是对partition中的每条记录进行计算；

问题6：collect输出大量结果时速度慢
解决方式：collect源码中是把所有的结果以一个Array的方式放在内存中，可以直接输出到分布式?文件系统，然后查看文件系统中的内容；

问题7：任务执行速度倾斜
解决方式：如果是数据倾斜，一般是partition key取的不好，可以考虑其它的并行处理方式 ，并在中间加上aggregation操作；如果是Worker倾斜，例如在某些worker上的executor执行缓慢，可以通过设置spark.speculation=true 把那些持续慢的节点去掉；

问题8：通过多步骤的RDD操作后有很多空任务或者小任务产生
解决方式：使用coalesce或repartition去减少RDD中partition数量；

问题9：Spark Streaming吞吐量不高
解决方式：可以设置spark.streaming.concurrentJobs

schedule调度相关参数
spark.cores.max
CPU计算资源的数量,spark.cores.max 这个参数决定了在Standalone和Mesos模式下，一个Spark应用程序所能申请的CPU Core的数量
这个参数需要注意的是，这个参数对Yarn模式不起作用，YARN模式下，资源由Yarn统一调度管理
CPU资源的数量由另外两个直接配置Executor的数量和每个Executor中core数量的参数决定。

spark.scheduler.mode
单个Spark应用内部调度的时候使用FIFO模式还是Fair模式

spark.speculation
spark.speculation(推测机制开关)以及spark.speculation.interval(),spark.speculation.quantile, spark.speculation.multiplier等参数调整Speculation行为的具体细节

spark.executor.memory xxG 设置内存
spark.executor.cores x 设置每个excutor核数
spark.cores.max xx 设置最大核使用数量

若如出现各种timeout，executor lost ,task lost
spark.network.timeout 根据情况改成300(5min)或更高。,默认为 120(120s),配置所有网络传输的延时，如果没有主动设置以下参数，默认覆盖其属性