大数据之Spark：简述你知道的spark调优

Posted 2021-06-26 浊酒南街

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了大数据之Spark：简述你知道的spark调优相关的知识，希望对你有一定的参考价值。

1.简述你知道的spark调优

1.避免创建重复的RDD
2.尽可能复用同一个RDD
3.对多次使用的RDD进行持久化
4.尽量避免使用shuffle类算子
5.使用map-side预聚合的shuffle操作
6.使用高性能的算子
7.广播大变量
8.使用Kryo优化序列化性能

以上是关于大数据之Spark：简述你知道的spark调优的主要内容，如果未能解决你的问题，请参考以下文章