spark 参数设置
Posted zhangbojiangfeng
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了spark 参数设置相关的知识，希望对你有一定的参考价值。
https://blog.csdn.net/u012102306/article/details/51637366
/bin/spark-submit --master yarn-cluster --num-executors 100 --executor-memory 6G --executor-cores 4 --driver-memory 1G --conf spark.default.parallelism=1000 --conf spark.storage.memoryFraction=0.5 --conf spark.shuffle.memoryFraction=0.3
以上是关于spark 参数设置的主要内容，如果未能解决你的问题，请参考以下文章