Spark性能调优之JVM调优
Posted 日月的弯刀
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Spark性能调优之JVM调优相关的知识，希望对你有一定的参考价值。
Spark性能调优之JVM调优
通过一张图让你明白以下四个问题
1.JVM GC机制，堆内存的组成
2.Spark的调优为什么会和JVM的调优会有关联？--因为Scala也是基于JVM运行的语言
3.Spark中OOM产生的原因
4.如何在JVM这个层面上来对Spark进行调优
补充：
Spark程序运行时--JVM堆内存分配比例
RDD缓存的数据（0.6） 默认
对象_task运行时产生的（0.2） 默认
聚合内存_shuffle read拉来的数据（0.2） 默认
手动分配内存时，不能去调节task运行时的内存，可以去调节其他的RDD Memory OR Shuffle read_聚合内存来间接调节task运行内存
以上是关于Spark性能调优之JVM调优的主要内容，如果未能解决你的问题，请参考以下文章