Hadoop-2.7.5完全分布式搭建

Posted 2021-01-12 练子

1、在虚拟机上安装Hadoop完全分布式准备工作

  1）这里使用的是VMWare软件，在VMWare上安装一个CentOS6.5，并再克隆两个机器配置相关MAC地址，以及配置机器名

  2）三台虚拟机配置好静态IP以及网络环境，以及SSH免密码登录(自行参考资料)

  3）安装Java环境(自行参考资料)

  4）Hadoop完全分布式结构及拓扑

  

 2、Hadoop相关配置

  1）在apache官方网站上下载hadoop-2.7.5.tar.gz包

  将下载好的gz包上传到s20机器上，解压到/opt/soft目录下

  2）配置hadoop的环境变量

  编辑/etc/profile文件，配置内容如下，编辑完成后使其生效 source  /etc/profile

  export HADOOP_HOME=/opt/soft/hadoop-2.7.5
  export JAVA_HOME=/usr/local/java/jdk1.8.0_161
  export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
  export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

  3）Hadoop配置文件

  [core-site.xml]

 <configuration>

    <property>

      <name>fs.defaultFS</name>

      <value>hdfs://s20/</value>

    </property>

  </configuration>

    <!-- 指定hadoop运行时产生文件的存储目录 -->

  <property>

    <name>hadoop.tmp.dir</name>

    <value>/opt/soft/hadoop-2.7.5/tmp</value>

  </property>

  [hdfs-site.xml]

  <configuration>

    <property>

     <!--  这里资源有限，配置副本数为2个(一般情况下为3个)  -->

      <name>dfs.replication</name>

      <value>2</value>

    </property>

  </configuration>

  [mapred-site.xml]

  <configuration>

    <property>

     <name>mapreduce.framework.name</name>

     <value>yarn</value>

    </property>

   </configuration>

  [yarn-site.xml]

  <configuration>

    <property>

      <name>yarn.resourcemanager.hostname</name>

      <value>s20</value>

    </property>

    <property>

      <name>yarn.nodemanager.aux-services</name>

      <value>mapreduce_shuffle</value>

    </property>

  </configuration>

  [slaves]

  s21

  s22

  [hadoop-env.sh]

  export JAVA_HOME=/usr/local/java/jdk1.8.0_161

3、启动

  1）在一个节点上执行完上述配置操作之后将hadoop-2.7.5整个文件夹复制到其他两个节点的相同目录，并配置其他两个节点Hadoop环境变量

  2）上述操作都完成之后，执行格式化

  hdfs  namenode  -format

  3）执行启动脚本

  start-dfs.sh：启动hdfs

  start-yarn.sh：启动yarn

  4）分别查看进程，是否启动的进程与拓扑图中的一致，如果不一致则可能有进程没有启动成功，需要检查配置

  5）查看hdfs管理页面

  http://192.168.137.120:50070

  

  6）查看yarn管理页面

  http://192.168.137.120:8088