graphX内存不够的解决方法

Posted 2020-10-03 洋葱丶

前段时间用graphX跑一个只有88M的小图，竟然给我报错说内存不够，我说怎么可能呢我可用内存可有2G呢

从网上东搞西搞一些解决方案，终于给我搞定了

其实原因是spark 的 java heap内存默认只给512M，有时候确实是不够用的，这时候只要改下{SPARK_HOME}/conf/spark-env.sh配置文件就行了

vim打开spark-env.sh

加入下面几句

export SPARK_DAEMON_JAVA_OPTS=-Xmx2048m
export SPARK_WORKER_MEMORY=-Xmx2048m
export SPARK_DAEMON_MEMORY=-Xmx2048m
export SPARK_REPL_OPTS=-XX:MaxPermSize=2048m 

 它们分别代表spark几个内存使用配置的最大值，不管那么多全部直接设为最大就好了，有兴趣的可以很快在网上搜到它们分别代表什么