HADOOP安装(安装详情私)-

Posted 2023-04-09

参考技术A 2.1 准备

克隆三台虚拟机：hadoop102 hadoop103 hadoop104，

修改克隆虚拟机的静态 IP：vim /etc/sysconfig/network-scripts/ifcfgens33

修改主机名称 vim /etc/hostname

配置 Linux 克隆机主机名称映射 hosts 文件：vim /etc/hosts

reboot

安装 JDK 前，一定确保提前删除了虚拟机自带的 JDK

解压、配置 JDK 环境变量，测试：java -version

Hadoop 下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/

解压、将 Hadoop 添加到环境变量

2.2 Hadoop 重要目录

bin 目录：存放对 Hadoop 相关服务（hdfs，yarn，mapred）进行操作的脚本

etc 目录：Hadoop 的配置文件目录，存放 Hadoop 的配置文件

lib 目录：存放 Hadoop 的本地库（对数据进行压缩解压缩功能）

sbin 目录：存放启动或停止 Hadoop 相关服务的脚本

share 目录：存放 Hadoop 的依赖 jar 包、文档、和官方案例

2.3 Hadoop运行模式

Hadoop 运行模式包括：本地模式、伪分布式模式以及完全分布式模式

本地模式：单机运行，只是用来演示一下官方案例。生产环境不用。

伪分布式模式：也是单机运行，但是具备 Hadoop 集群的所有功能，一台服务器模 拟一个分布式的环境。个别缺钱的公司用来测试，生产环境不用。

完全分布式模式：多台服务器组成分布式环境。生产环境使用。

完全分布式运行模式（开发重点） 分析：1）准备 3 台客户机（关闭防火墙、静态 IP、主机名称） 2）安装 JDK 3）配置环境变量 4）安装 Hadoop 5）配置环境变量 6）配置集群 7）单点启动 8）配置 ssh 9）群起并测试集群

编写集群分发脚本 xsync

scp安全拷贝语法:

scp -r $pdir/$fname $user@$host:$pdir/$fname

命令 递归 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称

rsync 远程同步工具语法：

rsync -av $pdir/$fname $user@$host:$pdir/$fname

命令 选项参数 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称

rsync 和 scp 区别：用 rsync 做文件的复制要比 scp 的速度快，rsync 只对差异文件做更 新。scp 是把所有文件都复制过去。

rsync 主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

SSH 无密登录配置

命令：ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件 id_rsa（私钥）、id_rsa.pub（公钥）

将公钥拷贝到要免密登录的目标机器上：ssh-copy-id hadoop102

2.4 集群安装

注意

NameNode 和 SecondaryNameNode 不要安装在同一台服务器

ResourceManager 也很消耗内存，不要和 NameNode、SecondaryNameNode 配置在 同一台机器上。

Hadoop 配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认 配置值时，才需要修改自定义配置文件，更改相应属性值

自定义配置文件：core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 四个配置文件存放在 $HADOOP_HOME/etc/hadoop 这个路径

[整理]Centos6.5 + hadoop2.6.4环境搭建

搭建Hadoop集群环境（3台机器）

1 准备环境

1.1 安装系统，并配置网络使3台机器互联互通，且SSH可直连（无需密码、保存私钥）

1.1.1 安装系统

安装Centos 6.5系统

安装过程略

1.1.2 配置网络

设置三台机器的iP分别为

IP	主机名称
10.132.41.116	Hadoop.slave2
10.132.41.117	Hadoop.slave1
10.132.41.118	Hadoop.master

修改计算机名称

Vi /etc/sysconfig/network

以上修改需要重启生效。可同时立即生效，增加执行以下命令：

Sudo hostname hadoop.slave1

1.1.3 SSH配置

a).首先在hadoop.master机器上用root（hadoop用户）登录，先生成ssh密钥文件，执行

ssh-keygen -t rsa

过程中，回车3次，提示以下内容表示成功

查看公钥文件是否生成：/home/hadoop/.ssh

b).执行命令将密钥文件共享给其他机器

ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub hadoop@10.132.41.117

第一次执行需要输入hadoop的密码。

输出一下内容表示执行成功。

c).执行命令测试是否建立互信成功

使用ssh直接连接服务器，确认是否免密码登录。

ssh 10.132.41.117

登录后输入任意命令确认是否登录成功。

w

1.2 安装JDK，并配置环境变量

1.2.1 安装JDK

先执行rpm查询命令确认是否已安装了JDK其他版本

rpm –qa | grep jdk

返回不为空，且版本不对可执行以下命令，将当前版本卸载掉

rpm –c 软件包名称

下载JDK文件并上传到服务器（rpm），执行

rpm –ivh 软件包名称

1.2.2 配置环境变量

使用vi进入/etc/profile文件，在最后追加以下内容：

# set java environment
export JAVA_HOME=/usr/java/jdk1.6.0_31

# export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin

之后执行以下命令，重启配置文件。

source /etc/profile

1.2.3 测试环境

执行命令确认安装是否正常。

[root@hadoop hadoop]# java -version
java version "1.7.0_80"
Java(TM) SE Runtime Environment (build 1.7.0_80-b15)
Java HotSpot(TM) 64-Bit Server VM (build 24.80-b11, mixed mode)

2 安装Hadoop

需要将所有的机器（master和slave）都需要安装hadoop，操作都一样，下面以master为示例。

2.1 下载

登录hadoop官网，下载对应版本。本示例使用了最新版2.6.4版本。

http://hadoop.apache.org/releases.html

下载后的文件hadoop-2.6.4.tar.gz，使用SFTP工具上传到hadoop.master机器上。

2.2 安装

用root用户登录hadoop.master机器，将上传上来的hadoop-2.6.4.tar.gz文件拷贝至/usr下。

执行“tar zxf hadoop-2.6.4.tar.gz hadoop”，将hadoop解压到/usr/hadoop目录下。

执行以下命令，将hadoop文件夹的归属用户和组修改到hadoop用户下。

chown –R hadoop:dadoop hadoop

配置后如下：

2.3 配置环境变量

使用vi进入/etc/profile文件，在最后追加以下内容：

# set hadoop environment
export HADOOP_HOME=/usr/hadoop
export PATH=$PATH:$ HADOOP _HOME/bin

之后执行以下命令，重启配置文件。

source /etc/profile

执行以下命令，确认配置生效。

[root@hadoop hadoop]# hadoop version
Hadoop 2.6.4
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r 5082c73637530b0b7e115f9625ed7fac69f937e6
Compiled by jenkins on 2016-02-12T09:45Z
Compiled with protoc 2.5.0
From source with checksum 8dee2286ecdbbbc930a6c87b65cbc010
This command was run using /usr/hadoop/share/hadoop/common/hadoop-common-2.6.4.jar

3 配置Hadoop

3.1 配置master

Hadoop涉及3个配置文件etc/hadoop/core-site.xml，etc/hadoop/hdfs-site.xml，etc/hadoop/mared-site.xml文件。

注：

以下配置中的hadoop.master均可以使用master的ip来替代。

所有的配置文件在2.x已经调整到$HADOOP_HOME/etc/hadoop下。

默认不存在“mapred-site.xml”文件，需要复制mapred-site.xml.template。

3.1.1 配置core-site.xml

<configuration>

  <property>
    <name>fs.default.name</name>
    <value>hdfs://hadoop.master:9000</value>
    <final>true</final>
  </property>

    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/hadoop/tmp</value>
    </property>

    <property>
        <name>ds.default.name</name>
        <value>hdfs://hadoop.master:54310</value>
        <final>true</final>
    </property>
</configuration>

3.1.2 配置hdfs-site.xml

<configuration>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/usr/hadoop/dfs/name</value>
    <final>true</final>
  </property>
 
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/usr/hadoop/dfs/data</value>
    <final>true</final>
  </property>

  <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>
</configuration>

3.1.3 配置mapred-site.xml

<configuration>
   <property>
       <name>mapreduce.framework.name</name>
        <value>yarn</value>
   </property>
   <property>
       <name>mapreduce.jobhistory.address</name>
        <value>hadoop.master:10020</value>
   </property>
   <property>
       <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop.master:19888</value>
   </property>
</configuration>

3.1.4 配置yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
 
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
  
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop.master</value>
  </property>

  <property>
   <name>yarn.resourcemanager.address</name>
   <value>hadoop.master:8032</value>
  </property>

  <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>hadoop.master:8030</value>
  </property>

  <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>hadoop.master:8031</value>
  </property>

  <property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>hadoop.master:8033</value>
  </property>

  <property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>hadoop.master:8088</value>
  </property>
</configuration>

3.1.5 配置masters和slaves文件

分别将master的信息和所有slave机器的信息写入到masters和slaves文件中。

注：slaves文件中的数量必须大于hdfs-site.xml文件中的“dfs.replication”配置，否则namenode无法启动。

另外，masters是根据网上教程手动生成的，然后配置貌似没起到作用。

3.2 配置slave

配置slave有2种方式：1.将hadoop的安装包上传到slave机器重新配置；2.将master上的配置复制到slave机器上。本示例采用了第2种方法，即全盘复制master上的配置。

3.2.1 安装JDK和配置环境变量

操作同master，此处略。

3.2.2 配置hosts

操作同master，此处略。

3.2.3 复制master上的hadoop

首先用hadoop用户（ssh已互信）执行以下命令，将hadoop复制到slave机器上。

scp /usr/hadoop [e-mail]1:/home/hadoop

用root用户登录hadoop.slave1，并执行以下命令，将hadoop移至/usr目录下。

mv /home/hadoop/hadoop /usr/

修改hadoop的拥有着。

chown –R hadoop:hadoop hadoop

注：需要在环境配置时添加好hadoop用户及用户组。

3.3 关闭防火墙

[hadoop@hadoop ~]$ su root
Password:
[root@hadoop hadoop]# service iptables stop
[root@hadoop hadoop]# chkconfig iptables off

4 启动和验证

4.1 初始化Namenode

在Master上用hadoop用户，执行以下命令初始化Namenode。

hadoop namenode -format

注：第2次以后初始化，过程中会提示是否删除已初始化内容，输入Y即可。

4.2 启动集群

4.3 验证

4.3.1 Master验证Namenode启动

在Master上用hadoop用户执行jps，显示以下内容，即启动成功。

如果缺少进程，可以到“$HADOOP_HOME/logs”下查看日志，确认启动失败的原因。

4.3.2 Slave验证Datanode启动

在Slave上分别用hadoop用户执行jps，显示以下内容，即启动成功。

如果缺少进程，可以到“$HADOOP_HOME/logs”下查看日志，确认启动失败的原因。

注：2.X以后没有Jobtracker和Tasktracker进程了。

5 问题FAQ

5.1 启动时报“WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable”

【问题现象】：启动时出现警告“WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable”

【问题分析】：通过错误提示得知，部分文件由32位平台编译，本机是64位centos，因此报错。

【解决措施】：通过网友提供的一个编译文件，下载并替换$HADOOP_HOME/lib/native目录下文件，即可解决此警告。

                     博客地址：http://www.secdoctor.com/html/yyjs/31101.html

                     文件的下载地址：http://dl.bintray.com/sequenceiq/sequenceiq-bin/hadoop-native-64-2.6.0.tar

5.2 Master报“”，Namenode启动失败

【问题现象】：通过执行jps，发现master上没有namenode进程，查看log日志发现，有以下错误

FATAL org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode.

java.net.BindException: Problem binding to [hadoop.master:9000] java.net.BindException: Cannot assign requested address; For more details see: http://wiki.apache.org/hadoop/BindException

【问题分析】：由于申请的云虚拟机，外部连接的IP为10开头的大网IP，通过ifconfig查看本机IP发现并非多网卡，而是做了IP映射，即配置的IP在本地无法访问到，导致JVM出现BindException。

【解决措施】：通过使用虚拟机本机IP（172开头）在集群中的所有机器中相互ping，如果都能ping通，则可以直接使用本机IP做配置（本例即是）。修改/etc/hosts文件中的hostname映射IP并复制到集群中所有的机器，ssh互信重做，在master上重新格式化namenode后启动即可。

5.3 Slave报“All specified directories are failed to load.”，Datanode启动失败

【问题现象】：通过执行jps，发现slave上没有datanode进程，查看log日志发现，有以下错误信息：

WARN org.apache.hadoop.hdfs.server.common.Storage: java.io.IOException: Incompatible clusterIDs in /usr/hadoop/dfs/data: namenode clusterID = CID-1a1fabff-166c-4c0a-9bd3-b726f217cc87; datanode clusterID = CID-65c03263-c30a-4592-8019-f6b356061418

2016-03-28 17:07:09,416 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool <registering> (Datanode Uuid unassigned) service to hadoop.master/172.16.0.111:9000. Exiting.

java.io.IOException: All specified directories are failed to load.

【问题分析】：由于变动了IP和重新初始化namenode，master的clusterID已经变化，slave连接master失败。需要更新clusterID为最新的值即可。

【解决措施】：修改data/current目录下的VERSION文件中clusterID为namenode的ID，并重启。

注：data目录的配置在hdfs-site.xml文件中的“dfs.datanode.data.dir”配置项。

6 附件

6.1 本示例中的配置文件