HDP一键配置

Posted fansy1990

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了HDP一键配置相关的知识,希望对你有一定的参考价值。

本篇博客针对HortonWorks Data Platform平台配置,使用此配置完成后,可以直接在浏览器登陆ambari进行集群配置,即此配置是前置条件配置!

脚本可在HDP一键部署下载!

环境:

操作系统:CentOS6.6 、HDP2.2 (hdp:2.2.0.0,hdp-util:1.1.0.20)、ambari:1.7;

这里使用的机器全部是安装完操作系统后(最小化安装,同时所有机器安装的操作系统版本需保持一致),配置完网络后的机器。

1. 网络配置:

/etc/sysconfig/network :

NETWORKING=yes
HOSTNAME=node80.example.com
GATEWAY=192.168.0.2
其中HOSTNAME配置为全称,同时还应配置GATEWAY

/etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE="eth0"
BOOTPROTO="static"
HWADDR="00:0C:29:71:33:61"
IPV6INIT="no"
NM_CONTROLLED="no"
ONBOOT="yes"
TYPE="Ethernet"
UUID="827078f8-57da-4105-a803-2c8011d72092"

IPADDR=192.168.0.80
NETMASK=255.255.255.0
GATEWAY=192.168.0.2
DNS1=192.168.0.80
DOMAIN=example.com
静态ip、配置dns为主节点、配置DOMAIN、关闭ipv6。

2. 安装需要文件(放在/opt目录下)相关hdp下载:http://s3.amazonaws.com/public-repo-1.hortonworks.com/index.html :

其中需要的文件是:ambari-1.7.0-centos6.tar.gz (需固定)、  HDP-UTILS-1.1.0.20-centos6.tar.gz(需固定)
CentOS-6.6-x86_64-bin-DVD1.iso(可替换,根据操作系统的不同而不同)
HDP-2.2.0.0-centos6-rpm.tar.gz (需固定)、    jdk-7u80-linux-x64.tar.gz(可替换),一共有5个文件,把这5个文件放在/opt目录下面,这个是必须的!!!(在代码里把这个参数写死了的)

3. hdp一键部署脚本分析:

脚本可以在HDP一键部署下载!

(一般需要增加文件的执行权限,下载解压后,进入文件夹,运行:chmod +x *.sh)


3.1 打开one_key.sh:

#!/bin/bash
# HDP一键安装
# 拷贝iso安装文件、jdk、HDP、HDP-UTILS、Ambari安装文件到/opt目录
# 配置好主节点和各slaves节点ip,注意配置dns为主节点
# 修改本目录hosts文件,第一行为主节点
# 修改本文件中的password为root的密码,必须使用root用户

user=root
password=admin

./create_local_yum.sh && echo "create_local_yum.sh  执行成功"

./update_master.sh && echo "update_master.sh 执行成功"

./generate_ssh.sh $user $password && echo "generate_ssh.sh 执行成功"

./install_jdk_on_all_hosts.sh && echo "install_jdk_on_all_hosts.sh 执行成功"

./update_slaves.sh && echo "update_slave.sh 执行成功"


echo "一键安装配置完成,开始配置ambari..."
source /etc/profile
yum -y install ambari-server && ambari-server setup -j $JAVA_HOME -s && ambari-server start && echo "Ambari安装完成,请在浏览器中输入http://$HOSTNAME:8080 进行配置!"

# 重启所有机器
./reboot_all.sh 
这里分为6步:

1、制作本地yum源,安装必要软件;

2、更新主节点;

3、在主节点配置ssh无密码登录,同时配置到其他slave节点的无密码登录;

4、在所有节点安装并配置jdk;

5、 更新slaves节点所需软件及服务;

6、安装、配置ambari-server,并重启所有节点;

3.2 create_local_yum.sh

#!/bin/bash

# 使用提供的iso安装文件来挂载本地yum源

iso_path=/opt/`ls /opt/ | grep ".iso"`

echo "Iso file path is :" $iso_path

#创建挂载目录
yum_path=/mnt/rhel

echo 'Creating mount directory :' $yum_path
mkdir $yum_path

#######################################
mount -o loop $iso_path $yum_path && echo 'Finished mount yum repository'
##########################################
echo 'Updating /etc/yum.repos.d/ files...'
rm -rf /etc/yum.repos.d/* 
touch /etc/yum.repos.d/rhel.repo

echo "
[rhel-local]
name=rhel-local
baseurl=file://$yum_path
gpgcheck=0
enabled=1
" >> /etc/yum.repos.d/rhel.repo

yum clean all && echo 'yum repository has been updated! '
此步骤即把安装文件iso挂载在/mnt/rhel目录,然后更新本地yum.repos.d中的文件,为下面的安装软件提供支持!

3.3 update_master.sh

#!/bin/bash
# 应该首先安装expect,这一步前 应该确认yum可用

#往本机/etc/hosts添加hosts文件内容#############

cat hosts >> /etc/hosts;
echo "添加hosts到/etc/hosts文件完成";

host_ip=`/sbin/ifconfig -a|grep inet|grep -v 127.0.0.1|grep -v inet6|awk 'print $2'|tr -d "addr:"`
suffix_ip=$host_ip%.*
suffix_ip=$suffix_ip%.*

# 安装必要的软件并制作http源###################

yum -y install vim httpd createrepo perl bind-utils openssh-clients ntp vim wget unzip bind && chkconfig httpd on && mkdir /var/www/html/centos && mkdir /var/www/html/centos/Packages &&echo "拷贝文件中..." && cp /mnt/rhel/Packages /var/www/html/centos/Packages -r && echo "拷贝文件完成,生成源中..." && createrepo /var/www/html/centos/Packages && rm -rf /etc/yum.repos.d/* && echo "http源拷贝完成,更新yum..."

touch /etc/yum.repos.d/rhel.repo

echo "
[rhel-http]
name=rhel-http
baseurl=http://$HOSTNAME/centos/Packages
gpgcheck=0
enabled=1
" >> /etc/yum.repos.d/rhel.repo
service httpd start && chkconfig httpd on && yum clean all

echo "http 源已经配置完成"

#配置dns#######################
echo "开始配置dns..."
#cp named.conf /etc/named.conf && cp db.* /var/named/ && service named start && chkconfig named on && echo "dns 配置完成"

sh generate_named.conf.sh && sh generate_db.192.sh && sh generate_db.hortonworks.com.sh && service named start && chkconfig named on && echo "dns 配置完成"

# 配置 ntp#########################
echo "开始配置ntp..."
chkconfig ntpd on 

#cp ntp.conf /etc/ntp.conf 
# 写入ntp.conf文件
echo "
driftfile /var/lib/ntp/drift

restrict default kod nomodify notrap nopeer noquery
restrict -6 default kod nomodify notrap nopeer noquery

restrict 127.0.0.1 
restrict -6 ::1
# 这里注意 mask是否是255.255.255.0 ,同时注意前面的ip
restrict $suffix_ip.0.0 mask 255.255.255.0 nomodify notrap

restrict 0.rhel.pool.ntp.org mask 255.255.255.255 nomodify notrap noquery
restrict 1.rhel.pool.ntp.org mask 255.255.255.255 nomodify notrap noquery
restrict 2.rhel.pool.ntp.org mask 255.255.255.255 nomodify notrap noquery

server	127.127.1.0	# local clock
fudge	127.127.1.0 stratum 10	

includefile /etc/ntp/crypto/pw

keys /etc/ntp/keys

" > /etc/ntp.conf
service ntpd start && echo "ntp 配置完成!"

## 配置 hdp yum####################
echo "开始配置hdp..."
tar -zxvf /opt/ambari-1.7.0-centos6.tar.gz -C /var/www/html;
tar -zxvf /opt/HDP-2.2.0.0-centos6-rpm.tar.gz -C /var/www/html;
tar -zxvf /opt/HDP-UTILS-1.1.0.20-centos6.tar.gz -C /var/www/html;


# 写入文件
touch /etc/yum.repos.d/ambari.repo
touch /etc/yum.repos.d/hdp.repo

echo "
[ambari-1.x]
name=Ambari 1.x
baseurl=http://$HOSTNAME/ambari/centos6/1.x/updates/1.7.0
gpgcheck=0
enabled=1
priority=1
" >> /etc/yum.repos.d/ambari.repo

echo "
[HDP-2.2.0.0]
name=Hortonworks Data Platform Version - HDP-2.2.0.0
baseurl=http://$HOSTNAME/HDP/centos6/2.x/GA/2.2.0.0
gpgcheck=0
enabled=1
priority=1

[HDP-UTILS-1.1.0.20]
name=Hortonworks Data Platform Utils Version - HDP-UTILS-1.1.0.20
baseurl=http://$HOSTNAME/HDP-UTILS-1.1.0.20/repos/centos6
gpgcheck=0
enabled=1
priority=1
" >> /etc/yum.repos.d/hdp.repo

yum clean all && echo "HDP 配置完成"

# 配置selinux#############
echo "开始配置selinux..."
sed -i 's/enforcing/disabled/' /etc/selinux/config && echo "selinux 配置完成"

# 配置 iptalbes###########
echo "开始配置iptables..."
service iptables stop && chkconfig iptables off && service ip6tables stop && chkconfig ip6tables off && echo "iptables配置完成"

# 关闭 THP################
echo "关闭THP..."
echo "if test -f /sys/kernel/mm/redhat_transparent_hugepage/defrag;then echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag fi" >> /etc/rc.local && echo "闭THP完成"

echo "更新主节点完成"

更新主节点主要包括:

a. 更新/etc/hosts文件;

b. 安装必要的软件;

c. 更新/etc/yum.repos.d中的文件,添加操作系统的安装包的http资源;

d. 配置dns(这里引入了三个文件生成脚本:generate_named.conf.sh 、 generate_db.192.sh 、generate_db.hortonworks.com.sh);

e. 配置ntp;

f. 解压HDP相关安装文件,并生成yum.repos.d下面的文件,制作http资源;

g.  配置 selinux、iptables、关闭THP;

3.4 generate_ssh.sh 

#!/bin/bash

# 本机产生无密码登录,同时设置其他机器无密码登录
# 必须使用root用户

if [ $# -lt 2 ]; then  
echo " HELP  
 generate_ssh.sh --generate ssh key for login without typing password;  
this script should run on the namenode machine and user should edit the ip-list file  
  
USAGE: ./generate_ssh.sh user pasaword  
  
EXAMPLE: ./generate_ssh root admin
HELP  
"
        exit 0  
fi 

yum -y install expect && echo "expect 安装完成"

user=$1
ip=$HOSTNAME
pass=$2
rm -rf /root/.ssh/*

echo "##################################"
echo " generate the rsa public key on $HOSTNAME ..."
echo "##################################"

expect -c "  
    set timeout -1  
    spawn ssh-keygen -t rsa
    expect \\"*id_rsa*\\" 
    send \\"\\r\\"
    expect \\"*passphrase*\\" 
    send \\"\\r\\"
    expect \\"*again*\\"
    send \\"\\r\\"  
expect eof  
" 
cat hosts | while read line
do
#提取ip
	ip_i=$line% *
	full_hostname_i=$ip_i##* 
	ip_i=$ip_i% *
	hostname_i=$line##* 
	expect -c "
	set timeout -1
	spawn ssh-copy-id -i /root/.ssh/id_rsa.pub $hostname_i
	expect \\"yes/no\\"
	send \\"yes\\r\\"
	expect \\"password:\\"
	send \\"$pass\\r\\"
	expect \\"#\\"
	
expect eof
"
done

echo "ssh配置完成"

generate_ssh.sh 首先安装expect工具,然后使用此工具以及提供的用户名和密码生成ssh无密码登录,并授权到slaves机器;(这里注意必须使用root用户)

3.5 install_jdk_on_all_hosts.sh 

#!/bin/bash
# 拷贝jdk安装脚本并 
#拷贝jdk到所有host,并安装配置jdk

cat hosts | while read line
do
#提取ip
#	ip_i=$line% *
#	full_hostname_i=$ip_i##* 
#	ip_i=$ip_i% *
	hostname_i=$line##* 
echo "hostname:$hostname_i"
scp /opt/jdk-* $hostname_i:/opt/
scp ./install_jdk.sh $hostname_i:/opt/

expect -c "
	set timeout -1
	spawn ssh $hostname_i
	expect \\"#\\"
	send \\"/opt/install_jdk.sh\\r\\"
	expect \\"#\\"
	send \\"exit\\r\\"	
expect eof
"
echo "$hostname_i 节点安装jdk完成"
done
这里变量hosts文件中的slaves机器,使用scp命令拷贝jdk、install_jdk.sh到各个slaves机器,接着使用expect命令远程登录到各个slaves机器,运行刚才拷贝的install_jdk.sh文件。install_jdk.sh文件主要是配置、安装jdk。

3.6 update_slave.sh

#!/bin/bash
# 1. 把yum源拷贝到slaves,并更新
# 2. 在slaves安装软件
# 3. 执行slaves.sh ,进行配置

#往slaves 机器拷贝yum、hosts文件#############

lines=`cat hosts |wc -l`
let lines=lines-1
tail -n $lines hosts | while read line
do
	hostname_i=$line##* 
	echo "hostname:$hostname_i"
	scp /etc/yum.repos.d/* $hostname_i:/etc/yum.repos.d/
	scp hosts $hostname_i:/opt/
	scp slaves.sh $hostname_i:/opt/
	
	echo "yum、hosts、slaves.sh 拷贝完成"
	
	expect -c "
		set timeout -1
		spawn ssh $hostname_i
		expect \\"#\\"
		send \\"/opt/slaves.sh &\\r\\"
		send \\"exit\\r\\"
		expect eof
	"
	echo "$hostname_i配置完成"
done

update_slaves.sh脚本原理和install_jdk_on_all_hosts.sh一致,同时是先拷贝必要的文件到各个slaves节点,然后使用expect工具远程登录到slaves节点运行slaves.sh脚本,进行配置

3.7 slaves.sh

#!/bin/bash

#往slave /etc/hosts添加hosts文件内容#############

cat /opt/hosts >> /etc/hosts;
echo "添加/opt/hosts到/etc/hosts文件完成";
master_ip=`head -n 1 /opt/hosts`
master_ip=$master_ip% *
master_ip=$master_ip% *
echo "master_ip:$master_ip"
# 更新yum源
rm -rf /etc/yum.repos.d/CentOS* && yum clean all && yum -y install perl bind-utils openssh-clients ntp vim wget unzip && echo "yum源更新完成 ,相关软件安装完成"


# 配置 ntp#########################
echo "开始配置ntp..."
chkconfig ntpd on 

#cp ntp.conf /etc/ntp.conf 
# 写入ntp.conf文件
echo "
driftfile /var/lib/ntp/drift
restrict default kod nomodify notrap nopeer noquery
restrict -6 default kod nomodify notrap nopeer noquery
restrict 127.0.0.1 
restrict -6 ::1
restrict default ignore
restrict $master_ip mask 255.255.255.255 nomodify notrap noquery
server $master_ip
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
" > /etc/ntp.conf
service ntpd start && echo "ntp 配置完成!"

echo "开始配置selinux..."
sed -i 's/enforcing/disabled/' /etc/selinux/config && echo "selinux 配置完成"

# 配置 iptalbes###########
echo "开始配置iptables..."
service iptables stop && chkconfig iptables off && service ip6tables stop && chkconfig ip6tables off && echo "iptables配置完成"

# 关闭 THP################
echo "关闭THP..."
echo "
if test -f /sys/kernel/mm/redhat_transparent_hugepage/defrag;then echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag fi" >> /etc/rc.local && echo "关闭THP完成"

echo "更新$HOSTNAME完成"

slaves.sh的配置很多是和master节点一致。

3.8 reboot_all.sh

#!/bin/bash

#重启slaves机器#############

lines=`cat hosts |wc -l`
let lines=lines-1
tail -n $lines hosts | while read line
do
	hostname_i=$line##* 
	echo "hostname:$hostname_i"
	
	expect -c "
		set timeout -1
		spawn ssh $hostname_i
		expect \\"#\\"
		send \\"reboot\\r\\"
		expect \\"#\\"	
		expect eof
	"
	echo "$hostname_i重启中"
done

## 重启本机
reboot
reboot_all.sh 首先使用expect工具远程登录到各个slaves节点,然后执行重启命令,最后再本机执行重启即可。

运行:

0)配置过程中全程使用root用户;

1)确保网络配置ok;

2)拷贝5个安装文件到/opt目录下面;

3)下载HDP一键安装脚本,并解压,添加运行权限;

4)修改HDP一键安装脚本中的hosts文件,改为自己集群所需机器名;

5)修改one_key.sh中的用户名和密码;

6)进入解压目录,运行:./one_key.sh >> one_key.log & 

7)tail -f one_key.log 实时查看log输出;

8)等待重启完成后,可以手动检查dns、ntp、iptables等等配置是否正确;

9)如果配置正确,即可在浏览器访问8080端口开始集群的配置!


分享,成长,快乐

脚踏实地,专注

转载请注明blog地址:http://blog.csdn.net/fansy1990



以上是关于HDP一键配置的主要内容,如果未能解决你的问题,请参考以下文章

大数据平台HDP-2.6.4安装与配置

2018最新大数据Ambari+HDP搭建

NPS内网穿透服务端一键安装脚本

HDP-2.6.5 & ambari-2.6.2 安装配置

如何在 Hadoop / HDP 组件中配置日志记录?

Presto 是不是支持 HDP2 高可用性配置?