hadoop启动是常见小问题

Posted chenhuan001

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hadoop启动是常见小问题相关的知识,希望对你有一定的参考价值。

1.先su进入root账户,然后

service iptables stop

//关闭防火墙

start-all.sh

//启动

 

2.启动是会显示,如果出错日志保存路径!!!基本所有问题都要去这些日志里面查看。

 

A.datanode 没有,tasktracker有.

NameNode和DataNode的namespaceID不一致,这个错误是很多人在安装时会遇到的,日志信息为:

java.io.IOException: Incompatible namespaceIDs in /root/tmp/dfs/data:

NameNode namespaceID = 1307672299; DataNode namespaceID = 389959598

 

若HDFS一直没有启动,读者可以查询日志,并通过日志进行分析,以上提示信息显示了NameNode和DataNode的namespaceID不一致。

 

这个问题一般是由于两次或两次以上的格式化NameNode造成的,有两种方法可以解决,第一种方法是删除DataNode的所有资料(及将集群中每个  LOG中写的路径dfs/data/current中的VERSION删掉,然后执行 hadoop namenode -format重启集群,错误消失。<推荐>);第二种方法是修改每个DataNode的namespaceID(位于/hdfs/data /current/VERSION文件中)<优先>或修改NameNode的namespaceID(位于/hdfs/name /current/VERSION文件中),使其一致。

 

以上是关于hadoop启动是常见小问题的主要内容,如果未能解决你的问题,请参考以下文章

jupyter notebook启动中常见的几个小问题

Ros 小乌龟节点启动

iOS 常见小问题

MapReduce小文件处理之CombineFileInputFormat实现

《hadoop权威指南》关于hive的第一个小例子的演示

[Hadoop]大量小文件问题及解决方案