2.Spark错误随记

Posted 2023-04-02 追梦、

一、ERROR Executor: Exception in task 0.0 in stage 0.0 (TID 0)

1.代码出现以下报红

2.出现以上问题是读取文件分隔时符号错误
（1）原本数据是tab隔开的

（2）如下图把" “改为”\\t"就可以了
![在这里插入图片描述](https://img-blog.csdnimg.cn/588c472cb8ef4b9ea6a2f382d9136fde.png

spark集群部署错误告警随记

1，Error: Could not find or load main class namenode-format

这个是错误的把hadoop namenode -format 命令写成hadoop namenode-format

2,  WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

在/etc/profile中加上这两句

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"