Hadoop 大数据错误收集

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop 大数据错误收集相关的知识,希望对你有一定的参考价值。

以下错误只针对自己在hadoop使用过程中遇到的错误,仅供参考!

 

《1》进入了安全模式,需要退出

hadoop dfsadmin -safemode leave 

《2》slave节点的nodemanager启动错误,查看~/hadoop-2.5.2/logs/yarn-zjl-nodemanager-slave.log  如果错误原因是不能连接至master,查看slave中的/etc/hosts是否正确,不正确的话修改后重启集群

 

《3》slave节点没有datanode,尝试删除slave中~/hadoopdata/dfs/data/current文件夹,并重新启动datanode

rm -r ~/hadoopdata/dfs/data/current
hadoop-daemon.sh start datanode

 

以上是关于Hadoop 大数据错误收集的主要内容,如果未能解决你的问题,请参考以下文章

Linux 大数据(hadoop)

在HDInsight中的Hadoop介绍

大数据日志收集框架之Flume入门

如何架构大数据系统hadoop

如何架构大数据系统 hadoop

基于Flume的美团日志收集系统架构和设计