003-Ambari一键自动化脚本部署

Posted 2021-04-13 BearData

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了003-Ambari一键自动化脚本部署相关的知识，希望对你有一定的参考价值。

根据前两篇 “Ambari大数据平台搭建利器(一)&(二)”，我们已经完成大数据平台的搭建，但是我们发现安装Ambari的步骤比较繁琐，并且手动部署存在以下的劣势：

1. 每个节点都要执行重复的命令，我们前两篇测试的节点只有三个，如果生产环境有上百个节点，这个工作量是比较大的。

2. 如果是基于项目的平台，可能会有几十甚至上百个客户，给每个与客户安装一套数十个节点的平台是比较繁琐的事。

3. 如果我们修改了源代码，在测试环境中，很有可能要来回卸载，安装，会花费很长的时间。

4. 人工操作会有一定的风险。

基于上述，我们打算写一套脚本，主要是安装Ambari server和agent，以及前期的环境检查，准备，修复，卸载。

注：如果只是个人测试学习，或者基于云端部署一套大数据平台，可以手动操作，这种场景是一次性的操作，并且之后很少再重新部署。

本篇主要是基于前两篇的基础上做的，因此需要对前两篇内容需要了解一下。

整体流程

环境检查：检查服务安装的每个节点是否满足安装Ambari的条件，如JDK，OpenSSL，Ambari Server需要检查PostgreSQL等等。

环境修复：如果某些节点或者所有节点不满足安装条件，则需要通过修复来满足安装条件，如JDK没有安装，则需要安装JDK，并且设置环境变量。

安装Ambari：如果条件满足，则在指定的节点安装Ambari Server以及在每个节点安装Ambari agent。

卸载Ambari：卸载Ambari Server及Ambari agent。

技术选型

编程语言：Python

由于要在每个节点执行相同的命令(Server和Agent有区别)，所以要选一种封装了SSH的库，我们选择Python中的Fabric。

脚本是运行在安装Ambari Server的节点上的，为了不影响原系统中的Python，我们需要在脚本中搭建Python虚拟环境。

技术实现

配置文件

配置文件主要配置了程序中需要读取的静态属性。

#配置安装agent的节点IP和主机名
#节点IP=主机名
[node_host]
192.168.163.130 = bigdata001
#域名配置后缀
#suffix = 域名后缀
[domain_name]
suffix = bdp.com
#操作用户名密码
[host_certification]: 
host_user = root
host_password = root
# Ambari Server 安装主机IP
[server_host]
server_ip = 192.168.163.130
# 配置安装时的语言
[language]
language = zh_CN
#language = en_US
#配置ntp时间同步server，如果没有配置该项，并且在外网连通的情况下会读取网络时间
[ntp]
#ntp_server = 192.168.163.130
#源相关配置
[resource_path]
#Ambar大版本号
main_version = 2.6.2.0
#Ambari小版本号
min_version = 155 
#yum源地址
yum_host_ip = 192.168.70.52
#Ambari源的文件夹 
HDP = ambari,HDP,HDP-UTILS 
#JDK 安装路径
[java_home]
java_home = /opt/jdk1.8.0_111
#Python虚拟环境路径
[python_virtual_path]
py_path = ~/py_virtual
#环境修复，虚拟环境所依赖的软件包
[software_package]
jdk = jdk-8u102-linux-x64.tar.gz
openssl = openssl-1.1.0a.tar.gz
postgresql = postgresql-9.2.15.tar.gz
httpd = httpd-2.2.31.tar.gz
python = Python-2.7.5.tgz
ruby = ruby-2.0.0.tar.gz
ntp = ntp-service-centos7.tar.gz
setuptools = setuptools-36.0.0.tar.gz
ecdsa = ecdsa-0.13.tar.gz
pycrypto = pycrypto-2.6.1.tar.gz
paramiko = paramiko-1.17.2.tar.gz
#卸载时所删除的包，目录，用户等信息
[remove]
remove_package = hadoop_2*,hdp-select*,ranger*,zookeeper*,bigtop*,atlas-metadata*,ambari-agent,postgresql*,spark*,smartsense-hst,ambari-metrics*,ambari-infra*,ambari-logsearch*,opentsdb*,redis*,hbase*,tez*,hive*,pig*,sqoop*,storm*,flume*,kafka*,zeppelin*,mahout*,slider*,cassandra*,phoenix*,extjs*,knox*,oozie*,accumulo*,elasticsearch_*,mysql_*,mycat_*,keepalived_*,haproxy_*,logstash_*,kibana_*,solr_*,rstudio-server_*,ceph*,kylin_*,greenplum_*
remove_user = ambari-qa,ams,falcon,flume,hbase,hcat,hdfs,hive,kafka,livy,mahout,mapred,oozie,opentsdb,redis,spark,sqoop,tez,yarn,zeppelin,zookeeper,cassandra,infra-solr,storm,livy,logsearch,knox,atlas,kms,ranger,accumulo,elasticsearch,mysqldb,mycat,keepalived,haproxy,logstash,kibana,solr,rstudio-server,ceph,kylin,gpadmin
remove_dir = /etc/,/var/lib/,/tmp/,/usr/lib/,/var/log/,/var/run/,/var/tmp/,/usr/bin/,/tmp/,/var/,/opt/,/data/
remove_file=ambari*,ams*,falcon*,flume*,hadoop*,hbase*,hive*,kafka*,oozie*,opentsdb*,postgresql,spark*,sqoop*,zeppelin,zookeeper*,storm*,smartsense,hadoop*,phoenix*,redis,slider,tez*,pig*,pgsql,cassandra,webhcat,mahout,hcat,accumulo*,hdfs*,mapred*,ranger*,slider*,atlas*,yarn*,worker-lanucher,beeline,logsearch*,knox*,ranger*,elasticsearch,mysqldb,mycat,keepalived,haproxy,logstash,kibana,solr,service_solr,rstudio-server,ceph,kylin,greenplum
spec_dir = /usr/hdp,/hadoop,/kafka*,/usr/share/HDP-oozie,/var/local/osd*,/etc/systemd/system/multi-user.target.wants/ceph-osd@*.service