shell-批量远程MySQL，执行命令-工作总结

Posted 2020-08-23 缥缈之旅

昨天下班前，老板给了一批LOG数据库IP地址，需要统计LOG表里Message字段top 10的结果，并输出到一个excel文件里。
抽查看了下，有两种格式的以当天日期结尾的表名。由于数量太多，时间紧迫，只好写批量脚本解决问题。
并以此扩展，解析其中的几个常用shell程序，主体脚本写在文章后半部分。
学习shell重在灵活运用命令，形成自己的思维方式，和书写习惯，脚本参考即可。

解题过程步骤：
1.梳理IP地址及对应表名
2.确定查询SQL
3.批量查询数据

完整脚本附在文章最后

解析下常用到的知识点:

1.日期：关于日期结尾的表，表中涉及日期时间的表字段
　　注意：shell中养成给日期定义变量的习惯。
　　<1>.当前日期时间及格式
　　　　DATE_MARK=`date +‘%Y%m%d‘`　　结果：20161214
　　　　DATE_MARK=`date + ‘%Y-%m-%d %H:%M:%S‘` 结果：2016-12-14 18:20:11
　　　　
　　　　过去日期时间及格式
　　　　DATE_MARK=`date -d‘1 day ago‘ +‘%Y%m%d‘`　　结果：一天之前：20161213
　　　　 DATE_MARK=`date -d‘1 hour ago‘ +‘%Y-%m-%d %H:%M:%S‘` 结果：2016-12-14 17:20:11
　　　　
　　　　 修改-d‘ ‘ ：7天之前：7 days ago 7小时之前：7 hours ago
　　　　
　　　　 表名：TB_NAME="LOG_${DATE_MARK}"

2.遍历思想和循环及行的处理
　　<1>.批量远程执行命令，批量Telnet端口，批量ping主机
　　<2>.遍历文件中每一行，进行添加，截取，输出操作。
　　　　主体思想：先读取ip或行，再处理ip或行，再利用ip或行
　　　　实例：
　　　　1.依次输出文件中的每一行
　　　　　　命令行while循环遍历: cat ip.txt | while read line; do echo $line;done
　　　　　　命令行for 循环遍历：for line in `cat ip.txt`;do echo $line;done
　　　　　　脚本中调用：ip.txt，然后循环遍历. ip文件作为脚本的执行参数
　　　　　　#!/bin/sh
　　　　　　ipfile=$1
　　　　　　cat ${ipfile}|while read line
　　　　　　do
　　　　　　　　echo ${line}
　　　　　　done　　
　　　　　　脚本执行：./xx.sh ip.txt　　　
　　　　2.对行的处理，一行有多个分割字段时需要处理
　　　　　　格式：172.21.1.1,3306　
　　　　　　截取一行的第一列IP：　
　　　　　　IP=`echo ${line}|awk -F‘,‘ ‘{print $1}‘`
　　　　　　PORT=`echo ${line}|awk -F‘,‘ ‘{print $2}‘`
　　　　　　awk -F‘,‘ ‘{print $1}‘ 等同于 cut -f1 -d‘,‘
　　　　　　添加内容：
　　　　　　echo "${IP}_${PORT}:OK" 结果：172.21.1.1_3306：OK

3.关于自定义函数
　　<1>.不传参函数：
　　　　fun_name()
　　　　{
　　 　　name=‘Kata‘　　　
　　echo "My name is ${name}."
　　　　}
　　　　fun_name #调用方式，直接将：My name is Kata.输出到屏幕　　　
　　<2>.传参函数
　　　　fun_name()
　　　　{
　　　　　　name=$1
　　echo "My name is ${name}."
　　　　}
　　
　　　　fun_name "Alias" #调用方式，直接将：My name is Alias.输出到屏幕
　　<3>.多参函数

　　　　fun_name()
　　　　{
　　　　　　name=$1
　　　　　　age=$2
　　　　　　echo "My name is ${name} and My age is ${age}."
　　　　}
　　
　　　　fun_name "Sunny" "18" #调用方式，直接将：My name is Sunny and My age is 18.输出到屏幕

　　<4>.将函数结果赋值给变量
　　　　status=`fun_name "Alias"` #变量status的内容就是：My name is Alias. 此时再将status变量应用到其它程序调用
　　<5>.自定义函数事例：统计IP数据库里对应的表格式是哪种？
　　　　思路：选一种格式表作为判断，存在做标记，不存在就是另一种。前提条件：每个ip上只存在一种表,避免意外两种表都试试

　　　　FUN_CHECK()
　　　　{
　　　　　　ip=$1　　#自定义函数传参
　　　　　　tb_like=$2
　　　　　　mysql_CMD="/usr/local/mysql/bin/mysql -uadmin -padmin -h${ip} -P3306" #变量只有IP，端口也可定义变量
　　　　　　SQL="SELECT COUNT(*) FROM information_schema.TABLES WHERE TABLE_SCHEMA=‘LogDB‘ AND TABLE_NAME
　　　　　　= ‘${tb_like}_${DATE_MARK}‘;"
　　　　　　STATUS=`${MYSQL_CMD} -NBe"${SQL}"`　　#查询数据库表结果赋值给变量
　　　　　　if [ ${STATUS} == ‘1‘ ];then
　　　　　　　　echo ${ip}
else
　　　　　　　　echo　　#此处输出空行或者去掉else，可方便将屏幕ip列表复制。甚至不要if判断，直接：echo "${ip}:${STATUS}" 再筛选。
　　　　　　fi
　　　　}
　　　　在while循环中调用函数：
　　　　#!/bin/sh
　　　　　　.
　　　　　　.
　　　　　　.
　　　　cat $IP_FILE1|while read line
　　　　do
　　　　　　IP=`echo $line|cur -f1 -d‘ ‘`
　　　　　　FUN_CHECK "${IP}" "HA_Logging" #手动修改下第二个参数，另一个表也测试下，别遗漏ip。
　　　　done
4.关于输出文件
　　将n个ip上表的查询数据追加到一个excel里。SQL的查询结果不要带表头。否则文件里会出现多个表头行。
　　通过mysql命令指定NBe参数，只输出数据结果，不显示字段名。
　　mysql -u -p -h -P -NBe"${sql}"

5.脚本传参和函数传参
　　脚本的开头定义：xxx=$1 xxx=$2
　　函数的开头定义：xxx=$1 xxx=$2
　　脚本执行：./x.sh 参数1 参数2
　　函数调用：fun_name "参数1" "参数2"

附件见下面：

附件脚本1：梳理ip列表，及对应哪种表格式
说明：
脚本执行：执行两次
./check_ip.sh ip.txt ‘HA_Logging‘
./check_ip.sh ip.txt ‘LOG‘
脚本第二个参数：作为表格式模糊查询的变量传参

cat check_ip.sh
#!/bin/sh
IPFILE=$1
TB_LIKE=$2
DATE_MARK=`date -d‘1 day ago‘ +‘%Y%m%d‘`
FUN_CHECK()
　　　　{
　　　　　　ip=$1　　#自定义函数传参:ip
　　　　　　tb_like=$2 #自定义函数传参：HA_Logging或者LOG
　　　　　　MYSQL_CMD="/usr/local/mysql/bin/mysql -uadmin -padmin -h${ip} -P3306" #变量只有IP，端口也可定义变量
　　　　　　SQL="SELECT COUNT(*) FROM information_schema.TABLES WHERE TABLE_SCHEMA=‘LogDB‘ AND TABLE_NAME
　　　　　　= ‘${tb_like}_${DATE_MARK}‘;"
　　　　　　STATUS=`${MYSQL_CMD} -NBe"${SQL}"`　　#查询数据库表结果赋值给变量
　　　　　　if [ ${STATUS} == ‘1‘ ];then
　　　　　　　　echo ${ip}
　　　　　　fi #此处定义 如果存在直接输出ip,不存在，就不管。
　　　　}
cat ${IPFILE}|while read line
do
　　IP=`echo ${line}|cut -f1 -d‘ ‘`
　　FUN_CHECK "${IP}" "${TB_LIKE}"　　
done

附件脚本3：查询表数据导入Excel
说明：为了一次性执行，将两个ip列表文件作为脚本参数
脚本执行：./check_loginfo.sh ha_ip.txt log_ip.txt
cat check_loginfo.sh
#!/bin/sh
IP_FILE1=$1
IP_fILE2=$2

# 定义日期标志 : 20161214 （此处是昨天日期）
TIME_MARK=`date -d‘1 day ago‘ +‘%Y%m%d‘`

# 定义表的名字：以日期结尾的表名 <DB_NAME.TB_NAME_20161214>
HA_TB="LogDB.HA_Logging_${TIME_MARK}"
LO_TB="LogDB.LOG_${TIME_MARK}"

# 对表查询结果输出到Excel文件：OUT FILE
OUT_FILE="/data/${TIME_MARK}_log.xls"

# 定义通用函数，从表里查询数据结果
GET_INFO()
{
ipfile=$1
tbname=$2

cat $ipfile|while read line
do
IP=`echo $line|awk -F‘ ‘ ‘{print $1}‘`
MYSQL_CMD="/usr/local/mysql/bin/mysql -uadmin -padmin -h${IP} -P9306"
SQL="SELECT ServiceName,LoggerName,COUNT(LoggerName) AS count_num FROM ${tbname} GROUP BY LoggerName ORDER BY count_num DESC LIMIT 10;"
$MYSQL_CMD -NBe"${SQL}" >>${OUT_FILE}
echo "$IP:ok"
done
}

# 执行调用
#
GET_INFO "${IP_FILE1}" "${HA_TB}"
GET_INFO "${IP_fILE2}" "${LO_TB}"

完结！