集群搭建Hadoop搭建HDFS(完全分布式)

Posted monco

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了集群搭建Hadoop搭建HDFS(完全分布式)相关的知识,希望对你有一定的参考价值。

Hadoop集群搭建(完全分布式)

  1. 前期准备(4台linux服务器),具体搭建过程可以参考https://www.cnblogs.com/monco/p/9046614.html(克隆虚拟机比较方便)
  2. 新建hadoop用户(这一步可以在克隆机器之前就做好)
  3. 设置4台机器ssh免密登录https://blog.csdn.net/lz_1992/article/details/50523507(百度很多这种文章,很简单的)
  4. jdk安装部署,hadoop安装部署(不想说了,4台虚拟机都设置一样,可以在克隆机器之前做好,我的配置如下)
    HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.4
    JAVA_HOME=/opt/software/java/jdk1.7.0_76
    JRE_HOME=/opt/software/java/jdk1.7.0_76/jre
    CLASS_PATH=.:${JAVA_HOME}/lib:${JAVA_HOME}/lib
    #PATH=${JAVA_HOME}/bin:$PATH
    PATH=$PATH:${JAVA_HOME}/bin:${JRE_HOME}/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    export HADOOP_HOME
    export JAVA_HOME
    export PATH
  5. hadoop集群需要理解NameNode,DataNode,SecondNameNode的关系,具体参考下篇博客
  6. 修改配置文件 hadoop-env.sh 用来设置java的环境变量 ,此文件在(/home/hadoop/apps/hadoop-2.6.4/etc/hadoop),hadoop安装目录下的etc下的hadoop文件夹中
    # The java implementation to use.
    export JAVA_HOME=/home/hadoop/apps/jdk1.7.0_51

     

  7. 修改配置文件(core-site.xml)设置NameNode属性(ruixuan.com 是我本机的主机名,可以在/etc/hosts里设置)
    <configuration>
    <property>
    <name>fs.defaultFS</name>
    <value>hdfs://ruixuan.com:9000</value>
    </property>
    <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/HADOOP/apps/hadoop-2.6.1/tmp</value>
    </property>
    </configuration>

    这里设置了NameNode的地址,是在ruixuan.com这台主机上,设置hadoop的临时目录,自己指定。

  8. 修改配置文件(hdfs-site.xml)设置NameNode和DataNode的文件保存路径
    <configuration>
    <property>
    <name>dfs.namenode.name.dir</name>
    <value>/home/hadoop/data/name</value>
    </property>
    <property>
    <name>dfs.datanode.data.dir</name>
    <value>/home/hadoop/data/data</value>
    </property>
    
    <property>
    <name>dfs.replication</name>
    <value>3</value>
    </property>
    
    </configuration>

    replication的是副本数,意思是一个文件需要在HDFS分布式文件系统中保存几分,建议 DataNode的数量应大于等于replication。

  9. 修改配置文件(mapred-site.xml)
    <configuration>
    <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value><!--默认为local -->
    </property>
    </configuration>

     

  10. 修改配置文件(yarn-site.xml)
    <configuration>
    <!-- Site specific YARN configuration properties -->
    <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>ruixuan.com</value>
    </property>
    
    <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    </property>

     

  11. 添加文件(salves),如果不添加或者不修改此文件,hadoop也可以正常启动,只是不可以使用hadoop的一键启动命令,但是可以一一启动,并不影响hadoop的实际操作
    mini01
    mini02
    mini03

    配置的是主机名

  12. 初始化hadoop路径(bin/hadoop  namenode  -format),在bin目录下执行format操作(关于这个操作,之后会详细讲解,很重要,对于数据恢复,误删等)
  13. 执行启动操作 sbin/start-dfs.sh 启动完成后 jps 会在4台机器上分别查到1个NameNode和3个DataNode,这样Hadoop的HDFS模块就配置完成了。

以上是关于集群搭建Hadoop搭建HDFS(完全分布式)的主要内容,如果未能解决你的问题,请参考以下文章

Flink1.8 集群搭建完全指南(1):Hadoop伪分布式

搭建spark伪分散式需要先搭建hadoop吗

大数据分析师实操练习(Hadoop完全分布式集群搭建)

一使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群

Hadoop伪分布式集群搭建

Hadoop集群搭建