hadoop一些常见报错的解决方式

Posted 2020-09-28 zhchoutai

• Failed to set setXIncludeAware(true) for parser

遇到此问题通常是jar包冲突的问题。

一种情况是我们向java的lib文件夹加入我们自己的jar包导致hadoop引用jar包的冲突。解决方式就是删除我们自己向系统加入的jar包，又一次配置。将自己的jar包或者外部jar放入系统文件夹会在编译程序时带来方便，可是这不是一种好习惯，我们应该通过改动CLASSPATH的方式指定jar包路径。

• Cannot lock storage /tmp/hadoop-root/dfs/name. The directory isalready locked

这个错误通常是我们在某次配置失败后。hadoop创建该文件夹，锁定之后失败退出造成的。解决方式就是删除tmp文件夹下hadoop创建的相关文件夹。然后又一次配置。

• localhost Name or service not known

在配置hadoop单节点环境时。须要利用ssh登录localhost。假设依照网上的方式配置之后还是不能正确登录localhost，并报上述错误，能够检查/etc/sysconfig/network和 /etc/hosts下的localhost名字是否一致。有时在某个文件里localhost是凝视掉的。

• ls: Cannot access .: No such file or directory.

当在hadoop中执行ls命令时常会出现这个错误，这个错误是指hdfs文件系统中当前文件夹为空，并非指本地文件系统中当前文件夹为空。当我们使用hdfs文件系统时，会默认进入/user/username下，这个文件夹不存在于本地文件系统，而是由hdfs内部管理的一个文件夹。

当我们第一次使用ls命令时，/user/username下是空的。所以会提示上述错误。当我们加入新的文件之后就不再报该错。

• Call to localhost/127.0.0.1:9000 failed on connection exception

当在伪分布式环境下执行wordcount演示样例时，假设报上述错误说明未启动hadoop，利用start-all.sh脚本启动hadoop环境。

• jps命令没有datanode执行

一个原因是执行文件系统格式化时，会在namenode数据文件夹（即配置文件里dfs.name.dir在本地系统的路径）中保存一个current/VERSION文件，记录namespaceID，标识了所格式化的namenode的版本号。

假设我们频繁的格式化namenode。那么datanode中保存（即配置文件里dfs.data.dir在本地系统的路径）的current/VERSION文件仅仅是你第一次格式化时保存的namenode的ID，因此就会造成datanode与namenode之间的id不一致。

解决方式是清空hadoop的tmp文件，重新启动格式化hdfs。
Retrying connect to server: localhost/127.0.0.1:9000
说明hadoop的namenode进程没有启动，导致与namenode无法连接而报错。能够先执行stop-all.sh脚本停止hadoop，然后调用start-all.sh重新启动hadoop。

• jps命令没有namenode执行

一个可能原因是tmp文件。默认的tmp文件每次又一次开机会被清空，与此同一时候namenode的格式化信息就会丢失。于是我们得又一次配置一个tmp文件文件夹。

能够通过改动hadoop/conf文件夹里面的core-site.xml文件和hdfs-site.xml：按例如以下形式进行配置（注意改动为你的详细相应路径）

改动配置文件 core-site.xml

<?xml version="1.0"?
>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?
>

<!-- Put site-specific property overrides in this file. -->

<configuration>
      <property>
         <name>fs.default.name</name>
         <value>hdfs://localhost:9000</value>
      </property>
      <property>
         <name>hadoop.tmp.dir</name>
         <value>/Users/wenxiaole/Hadoop/hadoop-1.2.1/tmp</value>
         <description>Abase for other temporary directories.</description>
      </property>
</configuration>

改动配置文件 hdfs-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
     <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
     <property>
         <name>dfs.namenode.name.dir</name>
         <value>file:/Users/wenxiaole/Hadoop/hadoop-1.2.1/tmp/dfs/name</value>
     </property>
     <property>
         <name>dfs.datanode.data.dir</name>
         <value>file:/Users/wenxiaole/Hadoop/hadoop-1.2.1/tmp/dfs/data</value>
     </property>
</configuration>

然后又一次格式化hdfs。

 hadoop namenode -format

此外。我们能够通过查看hadoop的logs文件夹下相关namenode日志查看问题来源。datanode不能启动时也可查看日志查找问题来源。

• Input path does not exist: hdfs://localhost:9000/user/root/inputfile

执行hadoop程序的时候，输入文件必须先放入hdfs文件系统中。不能是本地文件，假设是本地文件就会报上述找不到文件的错误。解决方式是首先利用put或者copyFromLocal复制文件到hdfs中。然后再执行hadoop程序。

关于Hadoop配置项的一点说明
尽管仅仅须要配置 fs.defaultFS 和 dfs.replication 就能够执行（官方教程如此）。只是若没有配置 hadoop.tmp.dir 參数，则默认使用的暂时文件夹为 /tmp/hadoo-hadoop，而这个文件夹在重新启动时有可能被系统清理掉，导致必须又一次执行 format 才行。所以我们进行了设置。同一时候也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir，否则在接下来的步骤中可能会出错。

提示
利用jps命令查看当前执行的hadoop进程时。和hadoop相关的一系列进程jobtracker、tasktracker、datanode、namenode和SecondaryNameNode的进程号也是很接近的。不会出现上千的差异。

假设发现它们的进程号差异过大，则往往会出错。这时能够通过重新启动解决这个问题。假设多次重新启动某些进程依然没有改变。还能够利用kill -9命令强制杀死进程，然后再重新启动。