我搭建Hadoop集群时,两个namenode节点都是Standby;而且datanode启动不成功,VERSION也没有namespaceID

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了我搭建Hadoop集群时,两个namenode节点都是Standby;而且datanode启动不成功,VERSION也没有namespaceID相关的知识,希望对你有一定的参考价值。

[root@cloud1 current]# jps
2595 QuorumPeerMain
15857 NameNode
15297 ResourceManager
15411 NodeManager
15025 JournalNode
17750 Jps
[root@cloud1 current]#
3.2hadoop安装
3.2.1文件配置
由于我们使用yarn框架不在使用mapred-site.xml,所以完成配置hadoop-env.sh、core-site.xml 、hdfs-site.xml、yarn-site.xml、slaves并下发到个节点上。

配置文件路径:/home/hadoop/app/hadoop-2.3.0-cdh5.0.2/etc/hadoop
3.2.1.1hadoop-env.sh
在文件hadoop-env.sh后追加:

#add by wangjj in May8,2015
export JAVA_HOME=/usr/java/jdk1.7.0_71
export HADOOP_HOME=/home/hadoop/app/hadoop-2.3.0-cdh5.0.2
export HADOOP_PREFIX=/home/hadoop/app/hadoop-2.3.0-cdh5.0.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
(PATH 里面是:还是;?是:)确定

参考技术A 1、首先你要确定不用ha的时候你的hadoop集群是正常的,不然找错误的方向就偏离了
2、如果都正常,配置ha 需要zookeeper,先要看看是不是zookeeper没有配置好的问题
3、如果都正常,在hadoop安装目录执行sbin/hadoop-daemon.sh start zkfc,这句是启动zookeeper选举制度,然后执行bin/hdfs haadmin -transitionToActive nn2 其中nn2是你的namenode中的一个
4、你在hadoop-env.sh中是需要配置JAVA_HOME的,但是不需要配置其他,HADOOP_HOME和PATH是需要配置在/etc/profile中的本回答被提问者和网友采纳

以上是关于我搭建Hadoop集群时,两个namenode节点都是Standby;而且datanode启动不成功,VERSION也没有namespaceID的主要内容,如果未能解决你的问题,请参考以下文章

hadoop 3.2.x 高可用集群搭建

Hadoop集群安装与配置

hadoop搭建HA集群之后不能自动切换namenode

搭建3节点hadoop集群

大数据平台Hadoop的分布式集群环境搭建

Hadoop的多节点集群启动,唯独没有namenode进程?(血淋淋教训,一定拍快照)