hadoop fs -put localfile . 时出现如下错误: could only be replicated to 0 nodes, instead of 1
Posted 持&恒
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hadoop fs -put localfile . 时出现如下错误: could only be replicated to 0 nodes, instead of 1相关的知识,希望对你有一定的参考价值。
hadoop fs -put localfile . 时出现如下错误:
could only be replicated to 0 nodes, instead of 1
网友的说法:
这个问题是由于没有添加节点的原因,也就是说需要先启动namenode,再启动datanode,然后启动jobtracker和tasktracker。这样就不会存在这个问题了。
这个异常主要是因为hdfs文件系统出现异常,解决方法是:
先停hadoop;
到hadoop.tmp.dir这里配置路径清除文件;(hadoop.tmp.dir默认:/tmp/hadoop-${user.name})
然后hadoop namenode -format;
最后重启hadoop
有可能客户端防火墙问题:所以除了服务器外,slave(即datanode)也需要sudo /etc/init.d/iptables stop关闭防火墙
重新格式化后把Datanode保存数据块目录中的tmp目录删掉试试看
format之后之前的datanode会有一个ID,这个ID没有删除,所以会拒绝当前Namenode链接和分配。所以需要删除 原来的datanode中的hdfs目录。user和tmp然后再格式化,即可
不需要删除datanode的ID,只需要将datanode的进程号修改为namenode的进程号.
在/tmp目录先看看能不能找到他的进程文件,打开修改一下即可
我也遇到这个问题,让我鼓捣了半天,最后打开eclipse,用dfs视图把里面一个文件删除了,就好了
我来个暴力点的:
bin/stop-all.sh
hadoop fs namenode -format
bin/start-all.sh
终于弄好了,不过这有点恨,不能每次都format,以后碰到类似问题再试一下其他方法。
我的情况是:我在namenode上也起了一个datanode,第二次启动时没启动这个节点上的datanode ,后来启动以后就好了
以上是关于hadoop fs -put localfile . 时出现如下错误: could only be replicated to 0 nodes, instead of 1的主要内容,如果未能解决你的问题,请参考以下文章
hadoop 作业中的 org.apache.hadoop.fs.BlockMissingException
Hadoop之hadoop fs和hdfs dfshdfs fs三者区别