Spark错误随记

Posted 2023-03-25 追梦、

一、ERROR SparkContext: Error initializing SparkContext.

1.运行代码出现以下问题
2.出现上述问题是-Xmxm最大堆大小爆满之后溢出报错
3.解决问题
（1 ）打开构造编辑器

（2）在vm options 添加-Xmx1024m

（3）点击apply最后点击ok
（4）返回点击run就可以了

4.感谢浏览！！！！！！！！！！

spark集群部署错误告警随记

1，Error: Could not find or load main class namenode-format

这个是错误的把hadoop namenode -format 命令写成hadoop namenode-format

2,  WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

在/etc/profile中加上这两句

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"