Spark+Hadoop问题小结

Posted 2020-08-22 Arron的博客

1、spark执行./start-all.sh报“WARN Utils: Service ‘sparkWorker‘ could not bind on port 0. Attempting port 1.”

解决办法：在spark-env.sh中加入“export SPARK_LOCAL_IP=127.0.0.1”这一条

 

2、Hadoop2.7启动报“Error: JAVA_HOME is not set and could not be found”

解决办法：配置/etc/hadoop目录下hadoop-env.sh、yarn-env.sh的JAVA_HOME;使用绝对路径：export JAVA_HOME=/usr/local/jdk

 

3、SecureCRT中spark-shell无法退格/删除

解决办法：

1）选项=》会话选项=》仿真=》终端选择‘Linux’=》映射键=》‘其他映射’下的两项‘Backspace’和‘Delete’均选上=》终端=》‘反空闲’下设置‘发送字符串’值为\n，时间设为每300秒。