Hadoop入门(十五)——集群常见错误及解决方案

Posted 2021-05-16 Leokadia Rothschild

Hadoop入门(十五)——集群常见错误及解决方案

后续持续更新

系列文章传送门

这个系列文章传送门:
Hadoop入门(一)——CentOS7下载+VM上安装（手动分区）图文步骤详解(2021)
Hadoop入门(二)——VMware虚拟网络设置+Windows10的IP地址配置+CentOS静态IP设置（图文详解步骤2021）
Hadoop入门(三)——XSHELL7远程访问工具+XFTP7文件传输（图文步骤详解2021）
Hadoop入门(四)——模板虚拟机环境准备（图文步骤详解2021）
Hadoop入门(五)——Hadoop集群搭建-克隆三台虚拟机（图文步骤详解2021）
Hadoop入门(六)——JDK安装（图文步骤详解2021）
Hadoop入门(七)——Hadoop安装（图文详解步骤2021）
Hadoop入门(八)——本地运行模式+完全分布模式案例详解，实现WordCount和集群分发脚本xsync快速配置环境变量 （图文详解步骤2021）
Hadoop入门(九)——SSH免密登录 配置
Hadoop入门(十)——集群配置（图文详解步骤2021）
Hadoop入门(十一)——集群崩溃的处理方法（图文详解步骤2021）
Hadoop入门(十二)——配置历史服务器及日志的聚集（图文详解步骤2021）
Hadoop入门(十三)——集群常用知识(面试题)与技巧总结
Hadoop入门(十四)——集群时间同步（图文详解步骤2021）
Hadoop入门(十五)——集群常见错误及解决方案

文章目录

• Hadoop入门(十五)——集群常见错误及解决方案
• 系列文章传送门
• • 1）防火墙没关闭、或者没有启动 YARN
  • 2）主机名称配置错误
  • 3）IP 地址配置错误
  • 4）ssh 没有配置好
  • 5）root 用户和 leokadia 两个用户启动集群不统一
  • 6）配置文件修改不细心
  • 7）不识别主机名称
  • 8）DataNode 和 NameNode 进程同时只能工作一个。
  • 9）执行命令不生效，粘贴 Word 中命令时，遇到-和长–没区分开。导致命令失效
  • 10）jps 发现进程已经没有，但是重新启动集群，提示进程已经开启。
  • 11）jps 不生效
  • 12）8088 端口连接不上
  • 13）

1）防火墙没关闭、或者没有启动 YARN

INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032 

2）主机名称配置错误

参考Hadoop入门(二)——VMware15.5虚拟网络设置+Windows10的IP地址配置+CentOS7静态IP设置（图文详解步骤2021）

3）IP 地址配置错误

参考Hadoop入门(二)——VMware15.5虚拟网络设置+Windows10的IP地址配置+CentOS7静态IP设置（图文详解步骤2021）

4）ssh 没有配置好

参考Hadoop入门(九)——SSH免密登录 配置（图文详解步骤2021）

5）root 用户和 leokadia 两个用户启动集群不统一

通常用leokadia账号启动集群，最好不要在root上启动集群

6）配置文件修改不细心

参考Hadoop入门(十)——集群配置（图文详解步骤2021）

7）不识别主机名称

java.net.UnknownHostException: hadoop102: hadoop102 
        at 
java.net.InetAddress.getLocalHost(InetAddress.java:1475) 
        at 
org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(Job
Submitter.java:146) 
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290) 
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287) 
        at  java.security.AccessController.doPrivileged(Native 
Method) 
at javax.security.auth.Subject.doAs(Subject.java:415) 

解决办法：
（1）主机名称映射没有配
在/etc/hosts 文件中添加 192.168.10.102 hadoop102
（2）与系统的命令发生冲突
主机名称不要起 hadoop hadoop000 等特殊名称

8）DataNode 和 NameNode 进程同时只能工作一个。

参考Hadoop入门(十一)——集群崩溃的处理方法（图文详解步骤2021）

9）执行命令不生效，粘贴 Word 中命令时，遇到-和长–没区分开。导致命令失效

解决办法：尽量不要粘贴 Word 中代码。

10）jps 发现进程已经没有，但是重新启动集群，提示进程已经开启。

原因是在 Linux 的根目录下/tmp 目录中存在启动的进程临时文件，将集群相关进程删除掉，再重新启动集群。

11）jps 不生效

原因：全局变量 hadoop java 没有生效。解决办法：需要 source /etc/profile 文件。

12）8088 端口连接不上

[leokadia@hadoop102 桌面]$ cat /etc/hosts
注释掉如下代码

#127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4 
#::1         hadoop102 

13）

还记得之前我们在集群配置的时候没有配置一个东西吗
参考参考Hadoop入门(十)——集群配置（图文详解步骤2021）

当时说的后面会出现的问题就是这个（如果当时讲这个配置的原理不好讲，现在就明白了）
好，现在我们来配置下这个文件

<?xml version="1.0" encoding="UTF-8"?> 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
 
<configuration> 
    <!-- 配置 HDFS 网页登录使用的静态用户为 leokadia --> 
    <property> 
        <name>hadoop.http.staticuser.user</name> 
        <value>leokadia</value> 
    </property> 
</configuration> 

[leokadia@hadoop102 hadoop]$ vim core-site.xml


搞定后别忘了分发
[leokadia@hadoop102 hadoop]$ xsync core-site.xml

更改配置后要把集群重新启动一下

之后回到那个页面就不在报错了
点删除可以正常删除

Hadoop入门系列完结撒花！！！
接下来进入HDFS系列！！！
希望大家继续一键三连哟！！！