搭建Hadoop集群

Posted 2020-06-09

前面的步骤请看  http://www.cnblogs.com/haibinyuan/p/5153681.html

安装Hadoop

解压安装

登录master, 下载解压hadoop 2.6.2压缩包到/home/hm/文件夹. (也可以从主机拖拽或者psftp压缩包到master)

[[email protected] ~]$ tar -xzvf hadoop-2.6.2.tar.gz -C ~
[[email protected] ~]$ mv hadoop-2.6.2 hadoop
[[email protected] ~]$ cd hadoop/

修改环境变量

[[email protected] hadoop]$ vi etc/hadoop/hadoop-env.sh 

找到export JAVA_HOME=${JAVA_HOME}, 修改为绝对路径:

# The java implementation to use.
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.95.x86_64

建议同时把etc/hadoop/yarn-env.sh和mapred-env.sh的JAVA_HOME也相应修改.

Optional - 修改$PATH

方便在任何路径下执行hadoop命令和Java命令

[[email protected] hadoop]$ cd ~ 
[hm@master ~]$ vi .bash_profile

修改为:

# User specific environment and startup programs
export HADOOP_PREFIX=/home/hm/hadoop
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.95.x86_64
PATH=$PATH:$HOME/bin:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin:$JAVA_HOME/bin

export PATH

使更改立即生效:

[[email protected] ~]$ source .bash_profile

测试环境变量设置

[[email protected] hadoop]$ bin/hadoop

可以看到hadoop命令的usage信息.

[[email protected] ~]$ jps

可以看到jvm中的进程信息.

 

配置分布式Hadoop集群

修改配置文件

hadoop/etc/hadoop/core-site.xml

创建tmp目录, 用于放置hdfs产生的临时文件, 不配置的话, 默认位置是/tmp/hadoop-{username}/, 导致机器重启后每次都需要重新format NameNode.

[[email protected] hadoop]$ mkdir tmp

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9100</value>
    </property>
    <property>
      <name>hadoop.tmp.dir</name>
      <value>file:/home/hm/hadoop/tmp</value>
    </property>
</configuration>

file: 代表在本地文件系统中, hdfs: 则代表在分布式文件系统中.

注意提前查看端口是否有被占用

[[email protected] hadoop]$ netstat -nap | grep 9100

 

hadoop/etc/hadoop/hdfs-site.xml

创建hdfs文件系统目录:

[[email protected] hadoop]$ mkdir dfs

修改配置文件

<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/hm/hadoop/dfs/name</value>
        <description>  </description>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/hm/hadoop/dfs/data</value>
        <description> </description>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
</configuration>

hadoop/etc/hadoop/mapred-site.xml

默认不存在, 需要从template复制或者改名

[[email protected] hadoop]$ cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

hadoop/etc/hadoop/yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
    <property>
        <description>The hostname of the RM.</description>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

 

添加master, slave节点的hostname, 或者ip

该文件主要被hadoop的某些脚本调用, 作用是从master一次性向多台slave发生命令. 因此前提是ssh免密码登录必须配置好.

[[email protected] hadoop]$ vi etc/hadoop/slaves

修改为:

slave1
slave2

Optional - 实现机架感知 (rack-aware)

http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/RackAwareness.html

Logging

通过修改etc/hadoop/log4j.properties可以自定义hadoop daemons的log设置

更多配置

比如NodeManagers的状态监控等等, 都可以在yarn-site.xml中配置, 详细参见官方文档: 
http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/ClusterSetup.html

 

将配置好的Hadoop安装包拷贝到Slaves

这样可以节省很多安装部署的时间, 但必须要保证slave和master拥有同样的文件目录结构, 用户和用户组的名字以及权限. 

[[email protected] hadoop]$ scp -r hadoop/ [email protected]:~
[[email protected] hadoop]$ scp -r hadoop/ [email protected]:~

此外, 记得修改slave机器上的环境变量, e.g. .bash_profile文件, 内容和master保持一致.

 

启动HDFS

格式化分布式文件系统

[[email protected] hadoop]$ bin/hdfs namenode -format

关闭防火墙

CentOS 6.7, 默认会有防火墙开启, DataNode发给NameNode的心跳信息会被挡在防火墙外.

需要去防火墙里设置master, slave对应的端口, 或者不考虑安全性的话, 直接关闭所有集群虚拟机的防火墙. 步骤:

1. 检查防火墙状态

  [[email protected] ~]$ sudo /etc/init.d/iptables status

2. 停止防火墙

[[email protected] ~]$ sudo /etc/init.d/iptables stop

可以把防火墙设置为开机不自启

[hm@master hadoop]$ sudo chkconfig iptables off
[[email protected] hadoop]$ chkconfig --list iptables

 

启动HDFS

[[email protected] hadoop]$ sbin/start-dfs.sh

检查启动结果:

在master上, 输入jps, 可以看到NameNode和SecondaryNameNode两个daemon

[[email protected] hadoop]$ jps
24440 Jps
24153 NameNode
24325 SecondaryNameNode

在slave1和slave2上, 输入jps, 可以看到DataNode的daemon

[[email protected] hadoop]$ jps
23852 DataNode
23927 Jps

检查集群状态

[[email protected] hadoop]$ bin/hdfs dfsadmin -report

或者登录 http://master:50070 查看. Live DataNodes应该>0. 否则查看DataNode节点的log看具体原因.

 

启动YARN

[[email protected] hadoop]$ sbin/start-yarn.sh

此时查看jps结果, 在master上可以看到多了ResourceManager的daemon

[[email protected] hadoop]$ jps
24153 NameNode
24762 Jps
24506 ResourceManager
24325 SecondaryNameNode

在slave上则多了NodeManager的daemon

[[email protected] hadoop]$ jps
23852 DataNode
23971 NodeManager
24082 Jps

至此, 整个集群环境配置完成. 

 

Web Interface

http://master:50070 NameNode信息, 应该可以看到slave1, slave2的信息.

http://master:8088 ResourceManager信息

注意: 如果虚拟机启用了proxy, 必须把master加入到proxy的Ignored Hosts里面, 否则上述URL无法访问.

 

运行MapReduce Job

这里以自带的wordcount为例.

准备工作

在hdfs里创建input文件夹: (/user/hm是hm用户在hdfs的默认home)

[[email protected] hadoop]$ bin/hdfs dfs -mkdir -p /user/hm/input/wordcount

创建一个测试文件, 添加些内容, 并上传到hdfs里

[[email protected] hadoop]$ vi tmp/helloworld
hello hadoop
hello master
hello slave
hello slave too

[[email protected] hadoop]$ bin/hdfs dfs -put tmp/helloworld input/wordcount

查看内容是否成功上传到hdfs

[[email protected] hadoop]$ bin/hdfs dfs -ls input/wordcount

或者想看看内容是否一致

[[email protected] hadoop]$ bin/hdfs dfs -text input/wordcount/helloworld

重复上述步骤, 多上传几个文件.

运行wordcount程序

[[email protected] hadoop]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.2.jar wordcount input/wordcount output/wordcount

查看运行输出结果:

[[email protected] hadoop]$ bin/hdfs dfs -cat output/wordcount/*
hadoop    1
hello     4
master    1
slave     2
too       1

停止YARN和HDFS

运行结束, 不再需要执行其他任务了, 就可以关闭守护进程:

[[email protected] hadoop]$ sbin/stop-yarn.sh
[hm@master hadoop]$ sbin/stop-dfs.sh

如果希望下次重新格式化hdfs, 最好把相关的文件删除, 然后重启机器. 也建议删除不再需要的log文件释放虚拟机空间.

[[email protected] hadoop]$ rm -rf dfs/
[hm@master hadoop]$ rm -rf tmp/*
[hm@master hadoop]$ rm -rf logs/*