Linux 指令学习之crontab

Posted 在奋斗的大道

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Linux 指令学习之crontab相关的知识,希望对你有一定的参考价值。

crontab简介

crontab可以在指定的时间执行一个shell脚本以及执行一系列Linux命令.

运用场景

  • 服务器管理员定时备份数据库数据
  • 服务器管理员定时同步数据库数据
  • 服务器管理员定时备份服务器日志信息

crontab 常用命令

crontab –e     //修改 crontab 文件,如果文件不存在会自动创建。 
crontab –l      //显示 crontab 文件。 
crontab -r      //删除 crontab 文件。
crontab -ir     //删除 crontab 文件前提醒用户。

crontab 服务常用命令

service crond status     //查看crontab服务状态
service crond start     //启动服务 
service crond stop     //关闭服务 
service crond restart     //重启服务 
service crond reload     //重新载入配置

crontab 语法格式

*  *  *  *  *  command
分  时  日  月  周   命令

第1列表示分钟00~59 每分钟用*或者 */1表示

第2列表示小时00~23(0表示0点)

第3列表示日期01~31

第4列表示月份01~12

第5列标识号星期0~6(0表示星期天)

第6列要运行的命令

实例:

 实例:每个工作日23:59都进行数据库备份作业

59 23 * * 1-5 /home/sh/mysql-backup.sh

创建MySQL数据库备份脚本,mysql_backup.sh

#!/bin/bash
PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin
export PATH
#数据库用户名
dbuser='root'
#数据库用密码
dbpasswd='512212'
#需要备份的数据库,多个数据库用空格分开
dbnames='db1 db2 db3'
#备份时间
backtime=`date +%Y%m%d%H%M%S`
#日志备份路径
logpath='/data/mysql/backup'
#数据备份路径
datapath='/data/mysql/backup'
 
#备份文件存放服务器及存放路径( 用户名@服务器IP:路径)
#backfileserver="root@192.168.0.70:/data/backup/"
 
 
 
#文件没有则创建
if [ ! -d "$datapath" ]; then
	mkdir -p "$datapath"
fi
 
if [ ! -d "$logpath" ]; then
	mkdir -p "$logpath"
fi
#日志记录头部
echo "备份时间为$backtime,备份数据库 $dbnames 开始" >> $logpath/mysqllog.log
 
#正式备份数据库
for dbname in $dbnames; do
	source=`mysqldump -u$dbuser -p$dbpasswd $dbname> $datapath/$dbname_$backtime.sql` 2>> $logpath/mysqllog.log
	#备份成功以下操作
	if [ "$?" == 0 ];then
		cd $datapath
		#为节约硬盘空间,将数据库压缩
		tar zcf $dbname_$backtime.tar.gz $dbname_$backtime.sql > /dev/null
		#删除原始文件,只留压缩后文件
		rm -f $datapath/$dbname_$backtime.sql
		#删除七天前备份,也就是只保存7天内的备份
		find $datapath -name "*.tar.gz" -type f -mtime +7 -exec rm -rf  \\; > /dev/null 2>&1
		echo "数据库表 $dbname 备份成功!!" >> $logpath/mysqllog.log
		
		#拷贝备份文件到备份服务器,使用scp时如何免输入密码,参考:https://jingyan.baidu.com/article/90bc8fc824e2dab752640c3f.html
		# scp "$dbname_$backtime.tar.gz" $backfileserver
		
	else
		#备份失败则进行以下操作
		echo "数据库表 $dbname 备份失败!!" >> $logpath/mysqllog.log
	fi
 
done

实例:每10分钟采集一次服务器性能(网卡流量、CPU、内存和磁盘占用率)

*/10 * * * * /home/sh/check.sh

创建Linux 服务器监控脚本,check.sh

#!/bin/bash
#这个脚本使用来统计CPU、磁盘、内存使用率、带宽的
total=0
system=0
user=0
i=0

#带宽使用情况
time=`date "+%Y-%m-%d %k:%M"`
day=`date "+%Y-%m-%d"`
minute=`date "+%k:%M"`
echo  "*************************************************************************" >> 123.txt
echo "统计开始时间:$day $minute" >> 123.txt

#循环五次,避免看到的是偶然的数据
echo "#带宽的使用情况:#" >>123.txt
while (( $i<5 ))
do
#原先的`ifconfig eth0|sed -n "7p"|awk 'print $2'|cut -c7-`方式获取网卡的信息为空,已经注释掉
#rx_before=`ifconfig eth0|sed -n "7p"|awk 'print $2'|cut -c7-`
#tx_before=`ifconfig eth0|sed -n "7p"|awk 'print $6'|cut -c7-`
rx_before=$(cat /proc/net/dev | grep 'eth' | tr : " " | awk 'print $2')
tx_before=$(cat /proc/net/dev | grep 'eth' | tr : " " | awk 'print $10')
sleep 2
#rx_after=`ifconfig eth0|sed -n "7p"|awk 'print $2'|cut -c7-`
#tx_after=`ifconfig eth0|sed -n "7p"|awk 'print $6'|cut -c7-`
rx_after=$(cat /proc/net/dev | grep 'eth' | tr : " " | awk 'print $2')
tx_after=$(cat /proc/net/dev | grep 'eth' | tr : " " | awk 'print $10')

rx_result=$[(rx_after-rx_before)/1024/1024/2*8]
tx_result=$[(tx_after-tx_before)/1024/1024/2*8]
echo  "$time Now_In_Speed: $rx_result Mbps Now_OUt_Speed: $tx_result Mbps" >>123.txt

let "i++"
done

rx_result=$(cat 123.txt|grep "$time"|awk 'In+=$4ENDprint In')
tx_result=$(cat 123.txt|grep "$time"|awk 'Out+=$7ENDprint Out')
In_Speed=$(echo "scale=2;$rx_result/5"|bc)
Out_Speed=$(echo "scale=2;$tx_result/5"|bc)
#echo "#带宽的5次的平均值是:#" >>123.txt
echo  "$time In_Speed_average: $In_Speed Mbps Out_Speed_average: $Out_Speed Mbps" >>123.txt

#CPU使用情况
which sar > /dev/null 2>&1
if [ $? -ne 0 ]
then
  total=`vmstat 1 5|awk 'x+=$13;y+=$14ENDprint x+y'`
  average=$(echo "scale=2;$total/5"|bc)
fi
echo "#CPU使用率:#" >>123.txt
echo "Total CPU  is already use: $average%" >>123.txt
#磁盘使用情况(注意:需要用sed先进行格式化才能进行累加处理)
disk_used=$(df -m | sed '1d;/ /!N;s/\\n//;s/ \\+/ /;' | awk 'used+=$3 ENDprint used')
disk_totalSpace=$(df -m | sed '1d;/ /!N;s/\\n//;s/ \\+/ /;' | awk 'totalSpace+=$2 ENDprint totalSpace')
disk_all=$(echo "scale=4;$disk_used/$disk_totalSpace" | bc)
disk_percent1=$(echo $disk_all | cut -c 2-3)
disk_percent2=$(echo $disk_all | cut -c 4-5)
disk_warning=`df -m | sed '1d;/ /!N;s/\\n//;s/ \\+/ /;' | awk 'if ($5>85) print $5 $6; '`
echo "#磁盘利用率#" >>123.txt
echo "hard disk has used: $disk_percent1.$disk_percent2%" >>123.txt
echo -e "\\t\\t#磁盘存在目录使用率超过85%报警#" >>123.txt
echo -e "\\t\\tover used: $disk_warning" >>123.txt


#内存使用情况
memery_used=$(free -m | awk 'NR==2' | awk 'print $3')
buffer_used=$(free -m | awk 'NR==2' | awk 'print $6')
cache_used=$(free -m | awk 'NR==2' | awk 'print $7')
free=$(free -m | awk 'NR==2' | awk 'printf $4')
memery_all=$(free -m | awk 'NR==2' | awk 'print $2')
used_all=$[memery_all-(free+buffer_used+cache_used)]
echo "$used_all $memery_all $free" >>123.txt
memery_percent=$(echo "scale=4;$memery_used / $memery_all" | bc)
memery_percent2=$(echo "scale=4; $used_all / $memery_all" | bc)
percent_part1=$(echo $memery_percent | cut -c 2-3)
percent_part2=$(echo $memery_percent | cut -c 4-5) 
percent_part11=$(echo $memery_percent2 | cut -c 2-3)
percent_part22=$(echo $memery_percent2 | cut -c 4-5)
echo "#内存使用率#" >> 123.txt
echo "system memery is already use: $percent_part1.$percent_part2%" >>123.txt
echo "actual memery is already use: $percent_part11.$percent_part22%" >>123.txt

echo  "结束本次统计:$day $minute" >> 123.txt
echo  "*************************************************************************" >> 123.txt
echo -e "\\n\\n\\n\\n" >> 123.txt

创建shell脚本中用于接受linux 采集性能指标文件123.txt

touch 123.txt

给 check.sh 和123.txt 赋予全权限

chmod +777 check.sh

chmod +777 123.txt

知识拓展:正确、错误日志的输出是否写入到文件方法:

1.不输出任何内容(建议使用方法一)

*/1 * * * * /root/XXXX.sh >/dev/null 2>&1 
或
*/1 * * * * /root/XXXX.sh &>/dev/null    //&表示任何内容

2.将正确和错误日志都输出到 /tmp/load.log

*/1 * * * * /root/XXXX.sh > /tmp/load.log 2>&1

3.只输出正确日志到 /tmp/load.log

*/1 * * * * /root/XXXX.sh > /tmp/load.log
或
*/1 * * * * /root/XXXX.sh 1> /tmp/load.log    //1可以省略

4.只输出错误日志到 /tmp/load.log

*/1 * * * * /root/XXXX.sh 2> /tmp/load.log

部分解释:

/dev/null 代表空设备文件
> 代表重定向到哪里
1 表示stdout标准输出,系统默认值是1,所以">/dev/null"等同于"1>/dev/null"
2 表示stderr标准错误
& 表示等同于的意思,2>&1,表示2的输出重定向等同于1

知识拓展:crontab 定时任务脚本上锁

问题背景:在Linux系统使用crontab配置一个定时任务后,出现一种情况,如果我设置的crontab任务时间是每隔1分钟执行一次任务脚本,但是这个脚本执行时间超过了1分钟,比如2分钟,这时系统会再执行任务。导致两个相同的任务在执行。这种情况下可能会出现一些并发问题,严重时会导致出现脏数据/性能瓶颈的恶性循环。

解决办法

  • 思想
    • 利用Linux中的flock,将执行脚本的定时任务进程加上文件锁。
  • flock详解
    • 简介:
      • flock是对于整个文件的建议性锁。如果一个进程在一个文件(inode)上放了锁,那么其它进程是可以知道的。(建议性锁不强求进程遵守。)最棒的一点是,它的第一个参数是文件描述符,在此文件描述符关闭时,锁会自动释放。而当进程终止时,所有的文件描述符均会被关闭。
      • 当多个进程可能会执行同一个脚本,这些进程需要保证其它进程没有在操作,以免重复执行。通常,这样的进程会使用一个「锁文件」,也就是建立一个文件来告诉别的进程自己在运行,如果检测到那个文件存在则认为有操作同样数据的进程在工作。
    • 使用
      flock -h
      
      Usage:
       flock [options] <file|directory> <command> [command args]
       flock [options] <file|directory> -c <command>
       flock [options] <file descriptor number>
      
      Options:
      -s, --shared:    获得一个共享锁
      -x, --exclusive: 获得一个独占锁
      -u, --unlock:    移除一个锁,通常是不需要的,脚本执行完会自动丢弃锁
      -n, --nonblock:  如果没有立即获得锁,直接失败而不是等待
      -w, --timeout:   如果没有立即获得锁,等待指定时间
      -o, --close:     在运行命令前关闭文件的描述符号。用于如果命令产生子进程时会不受锁的管控
      -c, --command:   在shell中运行一个单独的命令
      -h, --help       显示帮助
      -V, --version:   显示版本

   实战

# 每30分钟执行数据库备份,验证flock 文件锁功能
*/30 * * * * flock -xn /home/lock/mysql_backup.lock -c '/bin/sh /home/sh/mysql_backup.sh >/dev/null 2>&1'
  • 脚本解释
    • flock -xn /home/lock/mysql_backup.lock -c
      • 对后面的脚本进程加文件锁,格式为:flock 参数 锁文件地址 参数
    • '/bin/sh /home/sh/mysql_backup.sh >/dev/null 2>&1'
      • 执行脚本地址及打印日志
      • 注意:一定要加上引号,否则脚本不执行!!!

以上是关于Linux 指令学习之crontab的主要内容,如果未能解决你的问题,请参考以下文章

Linux 指令学习之ping

Linux学习之进程

RHEL7学习之crontab无法执行ntpdate

linux学习之操作系统与程序

linux命令学习之:chmod

Linux学习之三--scp命令