Hadoop 数据节点服务未在 hadoop 中的从属设备中启动
Posted
技术标签:
【中文标题】Hadoop 数据节点服务未在 hadoop 中的从属设备中启动【英文标题】:Hadoop datanode services is not starting in the slaves in hadoop 【发布时间】:2014-10-20 08:09:40 【问题描述】:我正在尝试使用 vmware 工作站在我的笔记本电脑中配置 hadoop-1.0.3 多节点集群,其中一个主节点和两个从节点。
当我从 master 运行 start-all.sh 时,所有守护进程在主节点(namenode、datanode、tasktracker、jobtracker、secondarynamenode)中运行,但 Datanode 和 tasktracker未在从节点上启动。启用了无密码 ssh,我可以在没有密码的情况下从我的主节点为主节点和从节点执行 ssh。
请帮我解决这个问题。
【问题讨论】:
您还应该包括错误日志 - 检查主节点和从节点。日志通常位于 hadoopdir/logs 【参考方案1】:停止集群。
如果您在core-site.xml
中专门定义了 tmp 目录位置,则删除该目录下的所有文件。
如果你在hdfs-site.xml
中明确定义了data node和namenode目录,那么删除这些目录下的所有文件。
如果您没有在core-site.xml
或hdfs-site.xml
中定义任何内容,请删除/tmp/hadoop-*nameofyourhadoopuser
下的所有文件。
格式化namenode。
应该可以了!
【讨论】:
以上是关于Hadoop 数据节点服务未在 hadoop 中的从属设备中启动的主要内容,如果未能解决你的问题,请参考以下文章
线程“main”中的异常org.apache.Hadoop.mapred.InvalidJobConfException:未在JobConf中设置输出目录
用于日志分析的 Map Reduce 作业未在 Hadoop 2.7.3 伪分布式模式下运行