安装使用Hadoop遇到的一些问题

Posted 2021-01-07 xiaohaigege666

安装完后却不能运行Hadoop，仔细查看日志信息，Hadoop记录了详尽的日志信息，日志文件保存在logs文件夹内。

无论是启动，还是以后会经常用到的MapReduce中的每一个job，以及HDFS等相关信息，Hadoop均存有日志文件以供分析。

例如：

NameNode和DataNode的namespaceID不一致，日志信息为：

java.io.IOException:Incompatible namespaceIDs in/root/tmp/dfs/data:NameNode

namespaceID=1307672299; DataNode namespaceID=389959598

若HDFS一直没有启动，可以查询日志，并通过日志进行分析，以上提示信息显示了NameNode和DataNode的namespaceID不一致。

这个问题一般是由于两次或两次以上的格式化NameNode造成的。

有两种方法可以解决，第一种方法是删除DataNode的所有资料；第二种方法是修改每个DataNode的namespaceID（位于/dfs/data/current/VERSION文件中）或修改NameNode的namespaceID（位于/dfs/name/current/VERSION文件中），使其保持一致。

下面这两种方法在实际应用中也可能会用到。

1）重启坏掉的DataNode或JobTracker。当Hadoop集群的某单个节点出现问题时，一般不必重启整个系统，只须重启这个节点，它会自动连入整个集群。

在坏死的节点上输入如下命令即可：

bin/Hadoop-daemon.sh start DataNode

bin/Hadoop-daemon.sh start jobtracker

2）动态加入DataNode或TaskTracker。这个命令允许用户动态将某个节点加入集群中。

bin/Hadoop-daemon.sh --config./conf start DataNode

bin/Hadoop-daemon.sh --config./conf start tasktracker