Hadoop 数据节点服务未在 hadoop 中的从属设备中启动

Posted

技术标签:

【中文标题】Hadoop 数据节点服务未在 hadoop 中的从属设备中启动【英文标题】:Hadoop datanode services is not starting in the slaves in hadoop 【发布时间】:2014-10-20 08:09:40 【问题描述】:

我正在尝试使用 vmware 工作站在我的笔记本电脑中配置 hadoop-1.0.3 多节点集群,其中一个主节点和两个从节点。

当我从 master 运行 start-all.sh 时,所有守护进程在主节点(namenode、datanode、tasktracker、jobtracker、secondarynamenode)中运行,但 Datanode 和 tasktracker未在从节点上启动。启用了无密码 ssh,我可以在没有密码的情况下从我的主节点为主节点和从节点执行 ssh。

请帮我解决这个问题。

【问题讨论】:

您还应该包括错误日志 - 检查主节点和从节点。日志通常位于 hadoopdir/logs 【参考方案1】:

停止集群。

如果您在core-site.xml 中专门定义了 tmp 目录位置,则删除该目录下的所有文件。

如果你在hdfs-site.xml中明确定义了data node和namenode目录,那么删除这些目录下的所有文件。

如果您没有在core-site.xmlhdfs-site.xml 中定义任何内容,请删除/tmp/hadoop-*nameofyourhadoopuser 下的所有文件。

格式化namenode。

应该可以了!

【讨论】:

以上是关于Hadoop 数据节点服务未在 hadoop 中的从属设备中启动的主要内容,如果未能解决你的问题,请参考以下文章

线程“main”中的异常org.apache.Hadoop.mapred.InvalidJobConfException:未在JobConf中设置输出目录

用于日志分析的 Map Reduce 作业未在 Hadoop 2.7.3 伪分布式模式下运行

怎么优化hadoop任务调度算法

可以将hadoop从节点设为hadoop主节点而不会导致数据丢失

启动hadoop怎么进入master

Hadoop学习之路Hadoop集群搭建和简单应用