在搭建Hadoop集群环境时遇到的一些问题
Posted 桑胡
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了在搭建Hadoop集群环境时遇到的一些问题相关的知识,希望对你有一定的参考价值。
最近在学习搭建hadoop集群环境,在搭建的过程中遇到很多问题,在这里做一些记录。
1. SSH相关的问题
问题一: ssh: connect to host localhost port 22: Connection refused
问题二: 远程连接需要输入密码。
参照以下博客即可解决:
Linux开启SSH服务: https://www.cnblogs.com/fengbeihong/p/3307575.html
ubuntu Docker开启ssh:https://blog.csdn.net/qq_27068845/article/details/77015432
ssh免密登陆: https://www.cnblogs.com/ivan0626/p/4144277.html
配置好后就可以使用ssh master等,随意登陆master和slave了。
2. 在使用bin/hdfs namenode -format命令时遇到的JAVA_HOME问题。
要点一:需要配置好container中的JAVA_HOME
要点二: 需要配置好hadoop_env.sh中的JAVA_HOME
参照以下博客解决了问题:
linux下安装Java: https://www.cnblogs.com/liugh/p/6623530.html
主要注意点是在配置
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64/
此类的语句时,=号左右不能有空格。
3. 报 hdfs-site.xml 和 yarn-site.xml发生xml格式错误,仔细检查发现是因为xml文件的第一行不能是空行引起的。
4. 报如下错误:
ERROR: Attempting to launch hdfs namenode as root
ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting launch.
Starting datanodes
ERROR: Attempting to launch hdfs datanode as root
ERROR: but there is no HDFS_DATANODE_USER defined. Aborting launch.
Starting secondary namenodes [localhost.localdomain]
ERROR: Attempting to launch hdfs secondarynamenode as root
ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined. Aborting launch.
或者
Starting resourcemanager
ERROR: Attempting to launch yarn resourcemanager as root
ERROR: but there is no YARN_RESOURCEMANAGER_USER defined. Aborting launch.
参考如下博客解决:
Hadoop安装配置(伪分布式):
https://blog.csdn.net/mxfeng/article/details/72770432?locationNum=5&fps=1
以上是关于在搭建Hadoop集群环境时遇到的一些问题的主要内容,如果未能解决你的问题,请参考以下文章
Spark集群框架搭建VM15+CentOS7+Hadoop+Scala+Spark+Zookeeper+HBase+Hive