shell-6

Posted 2020-11-01 天梭

一、告警系统邮件引擎

1、mail.sh

log=$1
t_s=`date +%s`                                                                 #时间戳
t_s2=`date -d "2 hours ago" +%s`                                    #两小时之前的时间戳
if [ ! -f /tmp/$log ]
then
echo $t_s2 > /tmp/$log
fi
t_s2=`tail -1 /tmp/$log|awk \'{print $1}\'`                            
echo $t_s>>/tmp/$log
v=$[$t_s-$t_s2]
echo $v
if [ $v -gt 3600 ]                                                              #当时间戳差值大于1小时则邮件报警
then
./mail.py $1 $2 $3
echo "0" > /tmp/$log.txt                                                  #对log.txt中的数字改写为0，重新计数
else
if [ ! -f /tmp/$log.txt ]
then
echo "0" > /tmp/$log.txt
fi
nu=`cat /tmp/$log.txt`
nu2=$[$nu+1]                                                         #nu2在nu 的基础上加1，判断nu2大于10，则发送邮件报警，小于10不报警。
echo $nu2>/tmp/$log.txt
if [ $nu2 -gt 10 ]
then
./mail.py $1 "trouble continue 10 min $2" "$3"         
echo "0" > /tmp/$log.txt                                             #当邮件报警后，对log.txt中的数字改写为0，重新计数。
fi
fi  

二、运行告警系统

1、可以写到crontab中执行

crontab -e

* * * * * cd /usr/local/sbin/mon/bin;bash main.sh

2、测试

cd /usr/local/sbin/mon/bin/

[root@localhost bin]# sh -x main.sh
+ export send=1
+ send=1
++ grep -A1 \'ens33: \'
++ awk \'/inet/ {print $2}\'
++ /sbin/ifconfig
+ export addr=192.168.134.130
+ addr=192.168.134.130
++ pwd
+ dir=/usr/local/sbin/mon/bin
++ echo /usr/local/sbin/mon/bin
++ awk -F/ \'{print $NF}\'
+ last_dir=bin
+ \'[\' bin == bin \']\'
+ conf_file=../conf/mon.conf
+ exec

3、查看日志，502报错。

[root@localhost bin]# cat ../log/err.log
++ date \'+%F %T\'
+ echo \'2018-04-24 22:32:36 load average\'
+ /bin/bash ../shares/load.sh
+ grep -q to_mon_502=1

4、因为502不存在，所以不用监控502。不写入日志

to_mon_502=0

#exec 1>>../log/mon.log 2>>../log/err.log

[root@localhost bin]# sh -x main.sh
+ export send=1
+ send=1
++ /sbin/ifconfig
++ grep -A1 \'ens33: \'
++ awk \'/inet/ {print $2}\'
+ export addr=192.168.134.130
+ addr=192.168.134.130
++ pwd
+ dir=/usr/local/sbin/mon/bin
++ echo /usr/local/sbin/mon/bin
++ awk -F/ \'{print $NF}\'
+ last_dir=bin
+ \'[\' bin == bin \']\'
+ conf_file=../conf/mon.conf
++ date \'+%F %T\'
+ echo \'2018-04-24 22:58:30 load average\'
2018-04-24 22:58:30 load average
+ /bin/bash ../shares/load.sh
22:58:30 load is 0
+ grep -q to_mon_502=1 ../conf/mon.conf

[root@localhost bin]# bash ../shares/load.sh
23:04:06 load is 0