CentOS7 通过Ambari安装Hadoop集群
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了CentOS7 通过Ambari安装Hadoop集群相关的知识，希望对你有一定的参考价值。
第一次在cnblogs上发表文章，效果肯定不会好，希望各位多包涵。
编写这个文档的背景是月中的时候，部门老大希望我们能够抽时间学习一下Hadoop大数据方面的技术；给我的学习内容是通过Ambari安装Hadoop集群。通过一周左右的学习和实践，整理出现在这篇安装心得。
安装默认使用Root用户，避免权限问题导致不成功。
使用4台虚拟机构建Ambari-Server、Hadoop集群，分配如下：
- 一台虚拟机，作为Ambari-Server：
Hostname: ambari.server
- 三台虚拟机，作为Hadoop集群：
Hostname01: hadoop.namenode Hostname02: hadoop.datanode1 Hostname03: hadoop.datanode2
1. 安装前的系统设定
a) 修改机器名、Hosts文件
查看当前的Hostname：
# hostname
修改Hostname：（以ambari.server为例）
# hostnamectl set-hostname ambari.server
修改每一台机器上的/etc/hosts文件：
# vim /etc/hosts 192.168.141.159 ambari.server 192.168.141.160 hadoop.namenode 192.168.141.161 hadoop.datanode1 192.168.141.162 hadoop.datanode2
修改完以后，重启每一台机器。
b) 设置ntpd自动启动，所有机器
没有安装ntpd的机器，用yum命令安装一下:
# yum install -y ntpd
设置服务开机启动：
# systemctl enable ntpd
启动服务：
# systemctl start ntpd
c) 设置时间同步，所有机器
# cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime # ntpdate us.pool.ntp.org
d) 关闭Selinux，所有机器
修改配置：
# vim /etc/sysconfig/selinux selinux=disalbed
e) 关闭防火墙
# systemctl stop firewalld # systemctl disable firewalld
f) 制作集群的SSH免密码登录
在ambari.server上创建密钥：
# ssh-keygen -t rsa
一路Enter到密钥生成
进入~/.ssh目录，查看密钥文件：
私钥：id_rsa
公钥：id_rsa.pub
切换到hadoop.namenode等机器上，创建~/.ssh目录
# mkdir ~/.ssh
从ambari.server上，发送公钥给目标服务器：
# scp ~/.ssh/id_rsa.pub hadoop.namenode:/root/.ssh/authorized_keys _from_ambari # scp ~/.ssh/id_rsa.pub hadoop.datanode1:/root/.ssh/authorized_keys _from_ambari # scp ~/.ssh/id_rsa.pub hadoop.datanode2:/root/.ssh/authorized_keys _from_ambari
在被登录的服务器上，合并公钥：
# cd ~/.ssh # cat authorized_keys _from_ambari >> authorized_keys
对所有服务器上的.ssh目录和文件授权：
# chmod 700 ~/.ssh # chmod 600 ~/.ssh/*
在ambari.server上验证SHH可以免密码登录目标服务器：
# ssh hadoop.namenode
如果无需输入密码，且用hostname命令查看到正确的主机名，则表示配置免密码登录成功；
如果仍需要输入密码，则不成功；如果不成功，先尝试权限修改；如果仍不成功，则要删除密钥再做一次。
2. 安装JDK1.8
下载JDK 1.8.0.tar.gz文件，解压：
# wget -c http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.tar.gz # mkdir /usr/local/jdk # tar -xvf jdk-8u131-linux-x64.tar.gz -C /usr/local/jdk/
配置环境变量，添加以下内容：
# vim /etc/profile #java export JAVA_HOME=/usr/local/jdk/jdk1.8.0_131 export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
执行以下语句，使环境变量立刻生效：
# source /etc/profile
验证Java安装成功：
# java -version java version "1.8.0_131" Java(TM) SE Runtime Environment (build 1.8.0_131-b11) Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)
3. 安装mysql
Ambari安装会将安装等信息写入数据库，建议使用自己安装的MySQL数据库，也可以不安装而使用默认数据库PostgreSQL。
Mysql数据库安装过程如下：
下载mysql的repo源（CentOS 7.2的yum源中默认没有mysql，要先下载mysql的repo源）：
# wget http://repo.mysql.com/mysql57-community-release-el7-8.noarch.rpm
安装mysql57-community-release-el7-8.noarch.rpm包：
# rpm -ivh mysql57-community-release-el7-8.noarch.rpm --nodeps --force
安装这个包后，会获得两个mysql的yum repo源：
# cd /etc/yum.repos.d # ls -l
确认存在下列两个repo源文件：
安装mysql：
# yum install -y mysql-server
启动mysql服务，查看MySQL服务是否已启动：
# systemctl start mysqld # service mysqld status
重置root密码：
MySQL5.7会在安装后为root用户生成一个随机密码，而不是像以往版本的空密码。 可以安全模式修改root登录密码或者用随机密码登录修改密码。
下面用随机密码方式：
MySQL为root用户生成的随机密码通过mysqld.log文件可以查找到：
# grep ‘temporary password‘ /var/log/mysqld.log # mysql -u root -p mysql> Enter password: （输入刚才查询到的随机密码）
修改root用户密码：(MySQL的密码策略比较复杂，过于简单的密码会被拒绝)。首先修改安全策略，避免过于简单的密码被拒绝：
mysql> set global validate_password_policy=0; mysql> set global validate_password_length=4;
重置用户密码：
mysql> alter user ‘root‘@‘localhost‘ identified by ‘root-1234‘;
完成后，保存退出：
mysql> flush privileges; mysql> quit;
使用刚刚设置的新密码登录：
# mysql -u root -p
mysql> use mysql;
如果进行操作出现下面的提示：
You must reset your password using ALTER USER statement before executing this statement.
就再设置一遍密码：
mysql> set password = password(‘root-1234‘);
开放3306端口
允许使用用户名root密码root-1234从任何主机连接到mysql服务器。
mysql> GRANT ALL PRIVILEGES ON *.* TO ‘root‘@‘%‘ IDENTIFIED BY ‘ root-1234‘ WITH GRANT OPTION; mysql> FLUSH PRIVILEGES;
安装mysql jdbc 驱动：
# yum install -y mysql-connector-java
4. 创建必要的数据库和数据库用户
安装完成后创建ambari数据库及用户，登录root用户执行下面语句：
mysql> create database ambari character set utf8; mysql> CREATE USER ‘ambari‘@‘%‘ IDENTIFIED BY ‘ambari-1234‘; mysql> GRANT ALL PRIVILEGES ON *.* TO ‘ambari‘@‘%‘; mysql> FLUSH PRIVILEGES;
如果要安装Hive，再创建Hive数据库和用户 再执行下面的语句：
mysql> create database hive character set utf8; mysql> CREATE USER ‘hive‘@‘%‘ IDENTIFIED BY ‘hive-1234‘; mysql> GRANT ALL PRIVILEGES ON *.* TO ‘hive‘@‘%‘; mysql> FLUSH PRIVILEGES;
如果要安装Oozie，再创建Oozie数据库和用户 再执行下面的语句：
mysql> create database oozie character set utf8; mysql> CREATE USER ‘oozie‘@‘%‘ IDENTIFIED BY ‘oozie-1234‘; mysql> GRANT ALL PRIVILEGES ON *.* TO ‘oozie‘@‘%‘; mysql> FLUSH PRIVILEGES;
5. 下载Ambari的资源
下载HortWorks官网上的3个库到本地（也可以在线下载，但是速度会很慢）。
我们先把hortworks官网上需要下载的3个库下载到本地（这个还是需要很长时间的，当然你也可以在线下载，通过wget但是由于文件比较大，所以下载会非常慢）然后把他上传到我们的镜像服务器上。
文档编写时采用的是Ambari 2.2.1.0，但安装方法是一致的。
Ambari Repositories：
|
OS |
Format |
URL |
|
RedHat 6 CentOS 6 Oracle Linux 6 |
Base URL |
http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.2.1.0 |
|
Repo File |
http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.2.1.0/ambari.repo |
|
|
http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.2.1.0/ambari-2.2.1.0-centos6.tar.gz |
||
|
RedHat 7 CentOS 7 Oracle Linux 7 |
Base URL |
http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.2.1.0 |
|
Repo File |
http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.2.1.0/ambari.repo |
|
|
http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.2.1.0/ambari-2.2.1.0-centos7.tar.gz |
两个是 HDP 2.4 Repositories：
|
OS |
Version Number |
Repository Name |
Format |
URL |
|
RedHat 6 CentOS 6 Oracle Linux 6 |
HDP-2.4.0.0 |
HDP |
Base URL |
http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.4.0.0 |
|
Repo File |
http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.4.0.0/hdp.repo |
|||
|
http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.4.0.0/HDP-2.4.0.0-centos6-rpm.tar.gz |
||||
|
HDP-UTILS |
Base URL |
http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/centos6 |
||
|
http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/centos6/HDP-UTILS-1.1.0.20-centos6.tar.gz |
||||
|
RedHat 7 CentOS 7 Oracle Linux 7 |
HDP-2.4.0.0 |
HDP |
Base URL |
http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.4.0.0 |
|
Repo File |
http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.4.0.0/hdp.repo |
|||
|
http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.4.0.0/HDP-2.4.0.0-centos7-rpm.tar.gz |
||||
|
HDP-UTILS |
Base URL |
http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/centos7 |
||
|
http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/centos7/HDP-UTILS-1.1.0.20-centos7.tar.gz |
尝试新版本的话，请通过最新版链接中的找到最新版安装包。
（Latest）Ambari 2.5.0 Repositories
|
OS |
Format |
URL |
|
RedHat 6 CentOS 6 Oracle Linux 6 |
Base URL |
http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.5.0.3 |
|
Repo File |
http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.5.0.3/ambari.repo |
|
|
http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.5.0.3/ambari-2.5.0.3-centos6.tar.gz |
||
|
RedHat 7 CentOS 7 Oracle Linux 7 |
Base URL |
http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.5.0.3 |
|
Repo File |
http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.5.0.3/ambari.repo |
|
|
http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.5.0.3/ambari-2.5.0.3-centos7.tar.gz |
（Latest）两个是 HDP 2.6 Repositories：
|
OS |
Version Number |
Repository Name |
Format |
URL |
|
RedHat 6 CentOS 6 Oracle Linux 6 |
HDP-2.6.0.3 |
HDP |
Base URL |
http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.6.0.3 |
|
Repo File |
http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.6.0.3/hdp.repo |
|||
|
http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.6.0.3/HDP-2.6.0.3-centos6-rpm.tar.gz |
||||
|
HDP-UTILS |
Base URL |
http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos6 |
||
|
http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos6/HDP-UTILS-1.1.0.21-centos6.tar.gz |
||||
|
RedHat 7 CentOS 7 Oracle Linux 7 |
HDP-2.4.0.0 |
HDP |
Base URL |
http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.0.3 |
|
Repo File |
http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.0.3/hdp.repo |
|||
|
http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.0.3/HDP-2.6.0.3-centos7-rpm.tar.gz |
||||
|
HDP-UTILS |
Base URL |
http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7 |
||
|
http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7/HDP-UTILS-1.1.0.21-centos7.tar.gz |
6. 配置本地下载站
在ambari.server上配置httpd服务：
# yum install -y httpd
把下载到的3个资源文件，上传到ambari.server，并解压到制定目录：
# mkdir /var/www/html/ambary-hdp
# tar -xvf ambari-2.2.1.0-centos7.tar.gz -C /var/www/html/ambary-hdp/ # tar -xvf HDP-2.4.0.0-centos7-rpm.tar.gz -C /var/www/html/ambary-hdp/ # tar -xvf HDP-UTILS-1.1.0.20-centos7.tar.gz -C /var/www/html/ambary-hdp/
启动httpd服务：
# systemctl start httpd
通过浏览器访问本地资源地址，如果能看到以下页面，则表示配置成功：
7. 配置Yum本地Repos资源池
在ambari.server上执行：
# yum install -y yum-plugin-priorities
a) 修改Yum安装源的校验
# vi /etc/yum/pluginconf.d/priorities.conf
#设置为以下内容
[main] enabled=1 gpgcheck=0
b) 制作本地资源文件
创建Ambari、HDP、HDP-UTIL资源文件：
- ambary.repo:
[ambari-2.2.1.0] name=ambari-2.2.1.0 baseurl=http://192.168.141.159/ambari-hdp/AMBARI-2.2.1.0/centos7/2.2.1.0-161 gpgcheck=0 gpgkey=http://192.168.141.159/ambari-hdp/AMBARI-2.2.1.0/centos7/2.2.1.0-161/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins enabled=1 priority=1
- hdp.repo
[HDP-2.4.0.0] name=Hortonworks Data Platform Version - HDP-2.4.0.0 baseurl=http://192.168.141.159/ambari-hdp/HDP/centos7/2.x/updates/2.4.0.0 gpgcheck=0 gpgkey=http://192.168.141.159/ambari-hdp/HDP/centos7/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins enabled=1 priority=1
- hdp-util.repo
[HDP-UTILS-1.1.0.20] name=Hortonworks Data Platform Version - HDP-UTILS-1.1.0.20 baseurl= http://192.168.141.159/ambari-hdp/HDP-UTILS-1.1.0.20/repos/centos7 gpgcheck=0 enabled=1 priority=1
制作完成后，移动到/etc/yum.repos.d/；依次执行以下命令，更新本地资源池：
# yum clean list # yum update list # yum makecache
等待更新完毕后，查看资源池：
# yum repolist
如果看到以下资源，表示配置成功：
8. 安装Ambari-Server
执行安装命令：
# yum install -y ambary-server
安装过程无需互动
（如果提示找不到KEY，则执行如下命令：
rpm --import /var/www/html/ambari-hdp/AMBARI-2.2.1.0/centos7/2.2.1.0-161/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins）
将Ambari数据库脚本导入到数据库。
Ambari安装会将安装等信息写入数据库，建议使用自己安装的MySQL数据库，也可以不安装而使用默认数据库PostgreSQL。如果使用自己定义的数据库，必须在启动Ambari服务之前导入Ambari的sql脚本。
用root用户登录mysql
# mysql -uroot -p mysql> use ambari; mysql> source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql;
9. 配置Ambari-Server
执行配置命令：
# ambari-server setup
提示是否自定义设置？输入：y
Customize user account for ambari-server daemon [y/n] (n)? y
ambari-server 账号。输入：root。
Enter user account for ambari-server daemon (root): root Adjusting ambari-server permissions and ownership...
检查防火墙，如果关闭则不用操作。
Checking firewall status... Redirecting to /bin/systemctl status iptables.service
设置JDK。输入：3。
Checking JDK...Do you want to change Oracle JDK [y/n] (n)? y [1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8 [2] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7 [3] Custom JDK ========================================== Enter choice (1): 3
如果上面选择3自定义JDK,则需要设置JAVA_HOME。输入：
/usr/local/jdk/jdk1.8.0_131 WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts. WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos, please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts. Path to JAVA_HOME: /usr/local/jdk/jdk1.8.0_131 Validating JDK on Ambari Server...done. Completing setup...
数据库配置。选择：y。
Configuring database...Enter advanced database configuration [y/n] (n)? y
选择数据库类型。输入：3。
Configuring database... ======================================== Choose one of the following options: [1] - PostgreSQL (Embedded) [2] - Oracle [3] - MySQL [4] - PostgreSQL [5] - Microsoft SQL Server (Tech Preview) [6] - SQL Anywhere ========================================== Enter choice (1): 3
设置数据库的具体配置信息，根据实际情况输入，如果和括号内相同，则可以直接回车。
Hostname (localhost): ambari.server Port (3306): Database name (ambari): Username (ambari): Enter Database Password (ambari-1234):
提示必须安装MySQL JDBC，已安装则直接通过。
WARNING: Before starting Ambari Server, you must copy the MySQL JDBC driver JAR file to /usr/share/java. Press <enter> to continue.
启动ambari-server服务
# ambari-server start
启动后在浏览器输入Ambari地址：
http://192.168.141.159:8080/#/login
看到如下页面，则表示安装成功：
进入Ambari配置管理页面：
用户名：admin
密码： admin
登录成功进入以下页面：
10. 安装Hadoop集群
a) 在集群节点上安装JDK
在3台作为Hadoop集群的机器上安装JDK，要与ambari.server上安装的完全一致
b) 安装ambari-agent
将ambari.server上的3个.repo文件复制到hadoop集群的三台服务器上；并完成yum源更新的命令。
安装ambari-agent：在集群的3台电脑上执行添加，并添加成开机自启动服务：
# yum install -y ambari-agent # chkconfig --add ambari-agent
c) 通过安装向导，配置Hadoop集群
参考文档：
http://www.cnblogs.com/boyzgw/p/6525313.html
http://www.cnblogs.com/zlslch/p/6629235.html
https://yq.aliyun.com/articles/60217
以上是关于CentOS7 通过Ambari安装Hadoop集群的主要内容，如果未能解决你的问题，请参考以下文章
Ambari2.7.4+HDP3.1.4安装 Centos7离线安装