spark-一些参数优化

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了spark-一些参数优化相关的知识,希望对你有一定的参考价值。

Spark程序优化所需要关注的几个关键点——最主要的是数据序列化和内存优化

spark 设置相关参数
问题1:reduce task数目不合适
解决方法:需根据实际情况调节默认配置,调整方式是修改参数spark.default.parallelism。通常,reduce数目设置为core数目的2到3倍。数量太大,造成很多小任务,增加启动任务的开销;数目太少,任务运行缓慢。
如果你想了解大数据的学习路线,想学习大数据知识以及需要免费的学习资料可以加群:784789432.欢迎你的加入。每天下午三点开直播分享基础知识,晚上20:00都会开直播给大家分享大数据项目实战。

问题2:shuffle磁盘IO时间长
解决方法:设置spark.local.dir为多个磁盘,并设置磁盘为IO速度快的磁盘,通过增加IO来优化shuffle性能;

问题3:map|reduce数量大,造成shuffle小文件数目多
解决方法:默认情况下shuffle文件数目为map tasks * reduce tasks. 通过设置spark.shuffle.consolidateFiles为true,来合并shuffle中间文件,此时文件数为reduce tasks数目;

问题4:序列化时间长、结果大
解决方法:Spark默认使.用JDK.自带的ObjectOutputStream,这种方式产生的结果大、CPU处理时间长,可以通过设置spark.serializer为org.apache.spark.serializer.KryoSerializer。另外如果结果已经很大,可以使用广播变量;

问题5:单条记录消耗大
解决方法:使用mapPartition替换map,mapPartition是对每个Partition进行计算,而map是对partition中的每条记录进行计算;

问题6:collect输出大量结果时速度慢
解决方式:collect源码中是把所有的结果以一个Array的方式放在内存中,可以直接输出到分布式?文件系统,然后查看文件系统中的内容;

问题7:任务执行速度倾斜
解决方式:如果是数据倾斜,一般是partition key取的不好,可以考虑其它的并行处理方式 ,并在中间加上aggregation操作;如果是Worker倾斜,例如在某些worker上的executor执行缓慢,可以通过设置spark.speculation=true 把那些持续慢的节点去掉;

问题8:通过多步骤的RDD操作后有很多空任务或者小任务产生
解决方式:使用coalesce或repartition去减少RDD中partition数量;

问题9:Spark Streaming吞吐量不高
解决方式:可以设置spark.streaming.concurrentJobs

schedule调度相关参数
spark.cores.max
CPU计算资源的数量,spark.cores.max 这个参数决定了在Standalone和Mesos模式下,一个Spark应用程序所能申请的CPU Core的数量
这个参数需要注意的是,这个参数对Yarn模式不起作用,YARN模式下,资源由Yarn统一调度管理
CPU资源的数量由另外两个直接配置Executor的数量和每个Executor中core数量的参数决定。

spark.scheduler.mode
单个Spark应用内部调度的时候使用FIFO模式还是Fair模式

spark.speculation
spark.speculation(推测机制开关)以及spark.speculation.interval(),spark.speculation.quantile, spark.speculation.multiplier等参数调整Speculation行为的具体细节

spark.executor.memory xxG 设置内存
spark.executor.cores x 设置每个excutor核数
spark.cores.max xx 设置最大核使用数量

若如出现各种timeout,executor lost ,task lost
spark.network.timeout 根据情况改成300(5min)或更高。,默认为 120(120s),配置所有网络传输的延时,如果没有主动设置以下参数,默认覆盖其属性

以上是关于spark-一些参数优化的主要内容,如果未能解决你的问题,请参考以下文章

三.spark优化参数

三.spark优化参数

Spark中配置参数的优化

Spark-submit参数优化配置

Spark-submit参数优化配置

Hive运行参数优化