spark-submit java.lang.OutOfMemoryError: Java heap space
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了spark-submit java.lang.OutOfMemoryError: Java heap space相关的知识，希望对你有一定的参考价值。
原因：默认情况下每个节点分配的执行内存为1G
解决办法：
方法一：val conf = new SparkConf().setAppName("appname").set("spark.executor.memory","6g")
方法二：修改spark-env.sh
添加：export SPARK_EXECUTOR_MEMORY=8G
以上是关于spark-submit java.lang.OutOfMemoryError: Java heap space的主要内容，如果未能解决你的问题，请参考以下文章
spark-submit 中的 scala.ScalaReflectionException