Spark性能调优
Posted xdlaoliu
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Spark性能调优相关的知识，希望对你有一定的参考价值。
石杉老师讲要从以下几个方面去优化Spark的性能，其中Shuffle调优是重点。
下面是与调优相关的几篇不错的博客，以供参考
官网的调优 https://spark.apache.org/docs/latest/tuning.html
序列化 https://stackoverflow.com/questions/40261987/when-to-use-kryo-serialization-in-spark
shuffle调优 https://www.cnblogs.com/arachis/p/Spark_Shuffle.html
以上是关于Spark性能调优的主要内容，如果未能解决你的问题，请参考以下文章