Spark 资源优化
Posted brentboys
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Spark 资源优化相关的知识，希望对你有一定的参考价值。
Spark 资源优化
Excutor 1
core 2- 4
memory 4 -8
HDFS 1block 128M
HDFS 128*2000 = 200
2000个block 应该如何在20节点work 16core 32G上面跑呢
根据以上的比例关系可以得出最大是
20 * 4 Excutor 80 Excutor
16/4= core 16 core
32/4= 8 G 32 core
2000/(
80*4)=6 这个值如果是4就很不错，6也没事。
以上是关于Spark 资源优化的主要内容，如果未能解决你的问题，请参考以下文章