三.spark优化参数

Posted 上官沐雪

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了三.spark优化参数相关的知识,希望对你有一定的参考价值。

spark优化参数


--设置spark shuffle分区数量参考: excutor-cores * 3 
set("spark.sql.shuffle.partitions", "36")


--1.broadcastHashJOin
--默认小表小于10M自动进行广播join
set("spark.sql.autoBroadcastJoinThreshold","10m")
--1.可强制使用广播join SQL Hint暗示方式 
select /*+  BROADCASTJOIN(sc) */ 
select /*+  BROADCAST(sc) */
select /*+  MAPJOIN(sc) */
--2.使用API方式
import org.apache.spark.sql.functions._
    broadcast(sc)
      .join(csc,Seq("courseid"))
      .select("courseid")

--2.shufflehashjoin 的hint
select /*+ SHUFFLE_REPLICATE_NL(school) */

--3.SortMergeJoin的hint
select /*+ SHUFFLE_MERGE(school) */
select /*+ MERGEJOIN(school) */ 
select /*+ MERGE(school) */ 


--调增小文件的读取,避免大量数据分片、task元数据信息对Driver造成压力
spark.sql.files.maxPartitionBytes=128MB  --设置分区大小
spark.files.openCostInBytes=4194304 	--设置文件开销大小最好为小文件大小, 默认 4m

--设置map端输出流buffer(改变并不明显)
set("spark.shuffle.file.buffer", "64") --能修改 map端输出流buffer默认为32k
set("spark.shuffle.spill.batchSize", "20000") -- 不可修改 溢写批次条数
set("spark.shuffle.spill.initialMemoryThreshold", "104857600")--不可修改溢写批次大小为5M


--设置reduce端拉取大小以及拉取次数(改变并不明显)
set("spark.reducer.maxSizeInFlight", "96m") -- reduce缓冲区,默认48m
set("spark.shuffle.io.maxRetries", "6")  -- 重试次数,默认3set("spark.shuffle.io.retryWait", "60s")  -- 重试的间隔,默认5s


---本地化级别:进程本地化、节点本地化、机架本地化、any。从左到右按待时间不满足时,依次降级.
set("spark.locality.wait", "6s")			--默认3s.全局设置本地化级别等待时间
set("spark.locality.wait.process", "60s")	--进程本地化级别等待时间
set("spark.locality.wait.node", "30s")		--节点本地化级别等待时间
set("spark.locality.wait.rack", "20s")		--机架本地化级别等待时间


--设置节点超时时间,避免GC时间过长,把excutor干掉
--conf spark.core.connection.ack.wait.timeout=300s ##默认120s

--开启使用堆外内存
 --conf spark.memory.offHeap.enabled=true 
 --conf spark.memory.offHeap.size=1g 
 
--设置堆外内存开销
 --conf spark.executor.memoryOverhead=1G ## max(384,200)
 --conf spark.driver.memoryOverhead	=1G ## max(384,200)
	

---------spark3推出了 AQE(Adaptive Query Execution),即自适应查询执行。
--spark动态合并分区
set("spark.sql.autoBroadcastJoinThreshold", "-1")  --为演示效果关闭自动join
set("spark.sql.adaptive.enabled", "true")			--开启自适应总开关
set("spark.sql.adaptive.coalescePartitions.enabled", "true")	--开启合并分区
set("spark.sql.adaptive.coalescePartitions.initialPartitionNum","1000")	--开启初始化分区数,默认为分区数
set("spark.sql.adaptive.coalescePartitions.minPartitionNum","10")	--合并最小分区数
set("spark.sql.adaptive.advisoryPartitionSizeInBytes", "20mb")	--每个合并后分区最大的大小
set("spark.dynamicAllocation.enabled","true")  -- 动态申请资源 (不建议开)
set("spark.dynamicAllocation.shuffleTracking.enabled","true") -- shuffle动态跟踪(查看动态申请资源)
 

--spark动态切换join策略
spark.sql.adaptive.localShuffleReader.enabled=true	--当不需要shuffle分区时,尝试使用本地shuffle

--设置数据倾斜的数据均衡
set("spark.sql.adaptive.skewJoin.enable","true")		--打开数据倾斜开关
set("spark.sql.adaptive.skewJoin.skewedPartitionFactor","2")	--如果数据块 大于中位数*此因子 则为数据倾斜
set("spark.sql.adaptive.skewJoin.skewedPartitionThresholdInBytes","20mb") --当单个数据块大于此值则数据倾斜(和上面同时满足则认为数据倾斜
set("spark.sql.adaptive.advisoryPartitionSizeInBytes", "8mb")	--建议shuffle和并后分区最大的大小


--解决数据倾斜:对于大key
1.distribute by cast(rand() * 5 as int)
2.先对数据进行分组,对key进行加盐聚合,再去盐聚合。

以上是关于三.spark优化参数的主要内容,如果未能解决你的问题,请参考以下文章

三.spark优化参数

spark优化

spark优化

Spark性能优化指南--基础篇

转载 Spark性能优化指南——基础篇

spark如何优化设置