大数据学习——shell编程

Posted 2021-01-25 o_0

03/ shell编程综合练习

自动化软件部署脚本

 

3.1 需求

1、需求描述

公司内有一个N个节点的集群，需要统一安装一些软件（jdk）

需要开发一个脚本，实现对集群中的N台节点批量自动下载、安装jdk

 

2、思路

1/ 编写一个启动脚本，用来发送一个软件安装脚本到每一台机器

2/ 然后启动每台机器上的软件安装脚本来执行软件下载和安装

 

3、expect的使用

痛点：使用scp命令远程拷贝文件时，会有人机交互的过程，如何让脚本完成人机交互？

妙药： expect

用法示例：

先观察  ssh localhost 的过程

再看expect的功能

#!/bin/bash/expect ## exp_test.sh set timeout -1; spawn ssh localhost; expect {     "(yes/no)" {send "yes ";exp_continue;}     "password:" {send "hadoop ";exp_continue;}     eof        {exit 0;} }

执行：  expect -f exp_test.sh

 

3.2 准备内网软件下载服务器

选择一台服务器（比如mini）作为软件源服务器

 

1、安装httpd   （如果已有，可跳过）

yum install -y httpd

service httpd start

chkconfig --level 35 httpd on

 

2、制作局域网yum源

1/ 挂载centos安装光盘到/mnt/cdrom    （如果已有，可跳过）

mkdir /mnt/cdrom

mount -t iso9660 -o loop /dev/cdrom /mnt/cdrom

 

2/ 将本地yum库放入httpd服务器

ln -s /mnt/cdrom /var/www/html/centos

 

检查点：用浏览器访问  http://mini/centos  看能否看到光盘内容

3、编写repo配置

 

vi /etc/yum.repos.d/centos.repo

[c6-httpd] name=CentOS-httpd baseurl=http://192.168.33.3/centos gpgcheck=0 enabled=1

 

4、分发repo配置到局域网

从母鸡shizhan01上把centos.repo拷贝给所有需要自动安装软件的服务器（仔鸡mini1/mini2）

cd /etc/yum.repos.d/

scp /etc/yum.repos.d/innet.repo mini1:$PWD

scp /etc/yum.repos.d/innet.repo mini2:$PWD

 

5、准备一个jdk安装包放在内网web服务器上

 

 

3.3 脚本开发

1、启动脚本

vi boot.sh

#!/bin/bash   SERVERS="mini1 mini2" PASSWORD=hadoop BASE_SERVER=192.168.33.11   ##  实现免密登陆配置的函数 auto_ssh_copy_id() {     expect -c "set timeout -1;         spawn ssh-copy-id $1;         expect {             *(yes/no)* {send -- yes ;exp_continue;}             *assword:* {send -- $2 ;exp_continue;}             eof        {exit 0;}         }"; }   ssh_copy_id_to_all() {     for SERVER in $SERVERS     do         auto_ssh_copy_id $SERVER $PASSWORD     done }   ## 调用免密登陆配置函数，实现母鸡到各仔鸡的免密登陆配置 ssh_copy_id_to_all     ## 完成分发install.sh到各仔鸡的操作 ## 并让仔鸡启动install.sh for SERVER in $SERVERS do     scp install.sh [email protected]$SERVER:/root     ssh [email protected]$SERVER /root/install.sh done

 

 

 

2、安装执行脚本

vi install.sh

#!/bin/bash   BASE_SERVER=192.168.33.11 ##  为本机安装wget命令 yum install -y wget ## 使用wget从母鸡的web服务器上下载jdk压缩包 wget $BASE_SERVER/soft/jdk-7u67-linux-x64.gz ## 将下载的压缩包解压 tar -zxvf jdk-7u67-linux-x64.gz -C /usr/local ## 修改profile配置文件 cat >> /etc/profile << EOF export JAVA_HOME=/usr/local/jdk1.7.0_67 export PATH=$PATH:$JAVA_HOME/bin EOF

 

3、启动脚本

只要在baseServer即mini上启动boot.sh即可