spark调优------合理调节作业中的并行度
Posted supperman
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了spark调优------合理调节作业中的并行度相关的知识，希望对你有一定的参考价值。
原理介绍：
并行度：其实就是指的是，spark作业中，各个stage的task数量，也代表了spark作业做得各个阶段的stage的并行度
设置参数：
spark.default.parallelism 官网推荐 此参数设置成cpu core数量的2~3倍，比如150个cpu core，分配了150个task，那么这个参数基本要设置为300~500
以上是关于spark调优------合理调节作业中的并行度的主要内容，如果未能解决你的问题，请参考以下文章