Linux定时对日志批量打包Shell脚本及定时任务crontab 详细用法
Posted haw2106
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Linux定时对日志批量打包Shell脚本及定时任务crontab 详细用法相关的知识，希望对你有一定的参考价值。
一、需求背景
因此次项目的生产环境中部署了多套系统，每天会产生大量的日志(数百GB的量)，侵占了服务器宝贵的存储资源空间。为了有效缓解服务器存储压力，考虑通过Linux的Shell脚本结合crontab定时每周一对上周7天的日志打包压缩，并删除原被打包的日志文件，以腾出更多可利用的存储资源空间。
对于初次接触Shell脚本的同学，建议先花几个小时时间学习一下Shell。附Shell教程链接如下：
http://www.runoob.com/linux/linux-shell-process-control.html
二、Shell脚本
进入Linux终端，键入vim timePackLogs.sh（脚本名称）创建脚本并编辑如下脚本代码：
1 #!/bin/bash 2 3 #author:haw2106 4 5 #date:20181213 6 7 #department:xxxx 8 9 #email:xxxx@xxxx.com 10 11 #if you have any questions, please contact the email! 12 13 echo `date \'+%Y-%m-%d %H:%M:%S\'`" 打包程序执行开始！"; 14 15 echo "开始打包从7天前截止昨天的日志(如本周日打包上周日到上周六的日志)!"; 16 17 #筛选打包日志文件的起始日期 18 19 sevenDaysAgoDate=`date -d "7 days ago" +%Y-%m-%d` 20 21 #筛选打包日志文件的截止日期(此处为获取当前日期) 22 23 currentDate=`date +%Y-%m-%d` 24 25 #起始日期时间戳(作为日期范围对比使用) 26 27 sevenTimeStamp=`date -d "$sevenDaysAgoDate" +%s` 28 29 #截至日期时间戳 30 31 currentTimeStamp=`date -d "$currentDate" +%s` 32 33 index=0 34 35 #日志读取路径 36 37 filePath="/home/weblogic/logs1" 38 39 #获取该路径下所有日志文件 40 41 fileList=`ls $filePath -1 -c` 42 43 #遍历所有日志文件 44 45 for fileName in $fileList 46 47 do 48 49 #将日志文件名及后缀与正则表达式做对比返回yyyy-mm-dd格式的日期值(如2018-09-10) 50 51 fileDate=$( expr "$fileName" : \'.*[0−9]{4}\\-[0−9]{2}\\-[0−9]{2}[0−9]{4}\\-[0−9]{2}\\-[0−9]{2}.*.*\' ) 52 53 #将日期转换为时间戳 54 55 fileDateTimeStamp=`date -d "$fileDate" +%s` 56 57 #当时间戳值不为空且大于等于起始日期小于当前日期，那么获取该日志文件 58 59 if [ "$fileDateTimeStamp" != "" ] && [ $fileDateTimeStamp -ge $sevenTimeStamp ] && [ $fileDateTimeStamp -lt $currentTimeStamp ] 60 61 then 62 63 fileList[$index]="$filePath/$fileName" 64 65 else 66 67 fileList[$index]="" 68 69 fi 70 71 (( index ++ )) 72 73 done 74 75 #获取所有在日期范围内的日志文件, @代表所有 76 77 meetConFiles=${fileList[@]} 78 79 #符合条件的日志文件数大于0就打包压缩 80 81 if [ "${#meetConFiles}" -gt 0 ] 82 83 then 84 85 tar -zcvf $currentDate.tar.gz $meetConFiles 86 87 else 88 89 echo "Not found the meet condition\'s files!" 90 91 exit 0 92 93 fi 94 95 echo "$currentDate.tar.gz create completion, Now begin to delete old files." 96 97 #删除已被打包压缩的日志文件 98 99 rm -fr $meetConFiles 100 101 echo "done." 102 103 exit 0
三、配置Crontab文件
注意：
1. CentOS 7的定时任务写在该文件中会报错。需通过crontab -e来设定定时任务
2.上图中为定期每周五执行脚本任务，可根据自身需求进行设置，其中选中行中的weblogic为执行脚本的用户，如果脚本是在root用户下，应输入root，本人的sh脚本是在自身创建的weblogic用户下。
3. MAILTO：接收定时任务邮件的用户名，对于定位定时任务脚本执行产生异常很有帮助。本人的用户名我为weblogic
四、常见问题(执行脚本)
1、permission denied（文件权限不允许）
为了获得执行权限，切换到sh脚本所在目录，借助chmod指令修改文件权限即可。
chmod 777 timePackLogs.sh（自身创建的脚本、）
2、本人初次接触Shell脚本开发该功能时，主要在正则表达式方面花了较多时间，建议同学多花些时间学习了解下Shell的正则表 达式。
3、查看crontab的日志记录定位定时任务问题
当定时执行脚本发生异常时，可通过定时任务的日志来定位问题
Linux
a.查阅文件 /var/log/cron，可以用tail -f /var/log/cron观察(普通用户无法查看，需root超管用户)
b.在 /var/spool/mail/root 文件中，有crontab执行日志的记录，用tail -f /var/spool/mail/root 即可查看最近的crontab执行情况。(root为用户名，本人定时任务脚本生成的日志在weblogic下，所以为/var/spool/mail/weblogic中)
五、crontab -e 与 直接编辑 /etc/crontab 的区别
Linux配置定时任务，大家都知道使用crontab这个系统功能，但有时候我们需要区分用户执行，下面就直接说一下2种方法的区别：
方法1：
使用命令 crontab -e 然后直接编辑定时脚本。
这样执行以后，属于用户自定义的，会被写到 /var/spool/cron 目录下，生成一个和用户名一致的文件，文件内容就是我们编辑的定时脚本。
如：
1 [root@localhost cron.d]# cd /var/spool/cron 2 [root@localhost cron]# ll 3 总用量 4 4 -rw-------. 1 root root 52 12月 9 10:58 root 5 [root@localhost cron]# pwd 6 /var/spool/cron 7 [root@localhost cron]# cat root 8 30 03 * * * /root/automysqlbackup.sh
方法2：
使用命令 vi /etc/crontab 编辑定时脚本。
如：
1 [root@localhost ~]# cat /etc/crontab 2 SHELL=/bin/bash 3 PATH=/sbin:/bin:/usr/sbin:/usr/bin 4 MAILTO=root 5 HOME=/ 6 7 # run-parts 8 30 * * * * root /usr/sbin/ntpdate 210.72.145.44 9 #30 8 * * * root /usr/sbin/ntpdate 132.228.90.101 10 01 * * * * root run-parts /etc/cron.hourly 11 02 4 * * * root run-parts /etc/cron.daily 12 22 4 * * 0 root run-parts /etc/cron.weekly 13 42 4 1 * * root run-parts /etc/cron.monthly 14 */1 * * * * root run-parts /opt/openoffice.org3/program/start.sh 15 ############################################ 16 17 30 4 * * * root /usr/bin/rsync -vzrtopg --progress --delete root@192.168.231.35::resource /hyy/bak/resource 18 30 4 * * * root /usr/bin/rsync -vzrtopg --progress --delete root@192.168.231.35::log /hyy/bak/log 19 ############################################ 20 [root@localhost ~]#
（系统级的）做系统级配置我们会直接配置 /etc/crontab
（用户级的）一般还是建议大家使用 crontab -e ，这样系统也会帮着检查我们配置的脚本语法。
六、crontab 详细用法 定时任务
使用crontab你可以在指定的时间执行一个shell脚本或者一系列Linux命令。例如系统管理员安排一个备份任务使其每天都运行
如何往 cron 中添加一个作业?
# crontab –e
0 5 * * * /root/bin/backup.sh
这将会在每天早上5点运行 /root/bin/backup.sh
Cron 各项的描述
以下是 crontab 文件的格式：
{minute} {hour} {day-of-month} {month} {day-of-week} {full-path-to-shell-script}
o minute: 区间为 0 – 59
o hour: 区间为0 – 23
o day-of-month: 区间为0 – 31
o month: 区间为1 – 12. 1 是1月. 12是12月.
o Day-of-week: 区间为0 – 7. 周日可以是0或7.
Crontab 示例
1. 在 12:01 a.m 运行，即每天凌晨过一分钟。这是一个恰当的进行备份的时间，因为此时系统负载不大。
1 0 * * * /root/bin/backup.sh
2. 每个工作日(Mon – Fri) 11:59 p.m 都进行备份作业。
59 11 * * 1,2,3,4,5 /root/bin/backup.sh
下面例子与上面的例子效果一样：
59 11 * * 1-5 /root/bin/backup.sh
3. 每5分钟运行一次命令
*/5 * * * * /root/bin/check-status.sh
4. 每个月的第一天 1:10 p.m 运行
10 13 1 * * /root/bin/full-backup.sh
5. 每个工作日 11 p.m 运行。
0 23 * * 1-5 /root/bin/incremental-backup.sh
Crontab 选项
以下是 crontab 的有效选项:
o crontab –e : 修改 crontab 文件. 如果文件不存在会自动创建。
o crontab –l : 显示 crontab 文件。
o crontab -r : 删除 crontab 文件。
o crontab -ir : 删除 crontab 文件前提醒用户。
以上就是crontab命令的具体使用方法了。
在linux平台上如果需要实现任务调度功能可以编写cron脚本来实现。
以某一频率执行任务
linux缺省会启动crond进程，crond进程不需要用户启动、关闭。
crond进程负责读取调度任务并执行，用户只需要将相应的调度脚本写入cron的调度配置文件中。
cron的调度文件有以下几个：
1. crontab
2. cron.d
3. cron.daily
4. cron.hourly
5. cron.monthly
6. cron.weekly
如果用的任务不是以hourly monthly weekly方式执行，则可以将相应的crontab写入到crontab 或cron.d目录中。
示例：
每隔一分钟执行一次脚本 /opt/bin/test-cron.sh
可以在cron.d新建脚本 echo-date.sh
内容为
*/1 * * * * root /opt/bin/test-cron.sh
在指定的时间运行任务
也可以通过at命令来控制在指定的时间运行任务
如：
at -f test-cron.sh -v 10:25
其中-f 指定脚本文件， -v 指定运行时间
quote:ea946d690b="lophyxp"]首先用
contab -l >contabs.tmp
导出contab的配置。
然后编辑contabs.tmp文件。以一下格式添加一行：
分钟 小时 天 月 星期 命令
比如
10 3 * * 0,6 hello
就是每周六、周日的3点10分执行hello程序。
15 4 * * 4-6 hello
就是从周四到周六的4点15点执行hello程序。
然后用
contab contabs.tmp
命令导入新的配置。
一般不建议直接修改/etc/下的相关配置文件。
启动cron进程的方法：/etc/init.d/crond start
开机就启动cron进程的设置命令：chkconfig --add crond
方法二：
把cron加入到启动脚本中：
# rc-update add vixie-cron default
crontab -l #查看你的任务
crontab-e#编辑你的任务
crontab-r#删除用户的crontab的内容
实例讲解二：
系统cron设定：/etc/crontab
通过 /etc/crontab 文件，可以设定系统定期执行的任务，当然，要想编辑这个文件，得有root权限
0 7 * * * root mpg123 ~/wakeup.mp3
分 时 日 月 周
示例：
0 4 * * 0 root emerge --sync && emerge -uD world #每周日凌晨4点，更新系统
0 2 1 * * root rm -f /tmp/* #每月1号凌晨2点，清理/tmp下的文件
0 8 6 5 * root mail robin < /home/galeki/happy.txt #每年5月6日给robin发信祝他生日快乐
假如，我想每隔2分钟就要执行某个命令，或者我想在每天的6点、12点、18点执行命令，诸如此类的周期，可以通过 “ / ” 和 “ , ” 来设置：
*/2 * * * * root ............... #每两分钟就执行........
0 6,12,18 * * * root ............... #每天6点、12点、18点执行........
每两个小时
0 */2 * * * echo "have a break now." >> /tmp/test.txt
晚上11点到早上8点之间每两个小时，早上八点
0 23-7/2，8 * * * echo "have a good dream：）" >> /tmp/test.txt
每个月的4号与每个礼拜的礼拜一到礼拜三的早上11点
0 11 4 * 1-3 command line
1月1日早上4点
0 4 1 1 * command line
收获：可以把经常要做的一些事放到其中，简化工作量，如每周一检查服务器的运行状态，查看报告，杀掉一些进程等等……
* * * * * command
分 时 日 月 周 命令
第1列表示分钟1～59 每分钟用*或者 */1表示
第2列表示小时1～23（0表示0点）
第3列表示日期1～31
第4列表示月份1～12
第5列标识号星期0～6（0表示星期天）
第6列要运行的命令
crontab文件的一些例子：
30 21 * * * /usr/local/etc/rc.d/lighttpd restart
上面的例子表示每晚的21:30重启apache。
45 4 1,10,22 * * /usr/local/etc/rc.d/lighttpd restart
上面的例子表示每月1、10、22日的4 : 45重启apache。
10 1 * * 6,0 /usr/local/etc/rc.d/lighttpd restart
上面的例子表示每周六、周日的1 : 10重启apache。
0,30 18-23 * * * /usr/local/etc/rc.d/lighttpd restart
上面的例子表示在每天18 : 00至23 : 00之间每隔30分钟重启apache。
0 23 * * 6 /usr/local/etc/rc.d/lighttpd restart
上面的例子表示每星期六的11 : 00 pm重启apache。
* */1 * * * /usr/local/etc/rc.d/lighttpd restart
每一小时重启apache
* 23-7/1 * * * /usr/local/etc/rc.d/lighttpd restart
晚上11点到早上7点之间，每隔一小时重启apache
0 11 4 * mon-wed /usr/local/etc/rc.d/lighttpd restart
每月的4号与每周一到周三的11点重启apache
0 4 1 jan * /usr/local/etc/rc.d/lighttpd restart
一月一号的4点重启apache
名称 : crontab
使用权限 : 所有使用者
使用方式 :
crontab file [-u user]-用指定的文件替代目前的crontab。
crontab-[-u user]-用标准输入替代目前的crontab.
crontab-1[user]-列出用户目前的crontab.
crontab-e[user]-编辑用户目前的crontab.
crontab-d[user]-删除用户目前的crontab.
crontab-c dir- 指定crontab的目录。
crontab文件的格式：M H D m d cmd.
M: 分钟（0-59）。
H：小时（0-23）。
D：天（1-31）。
m: 月（1-12）。
d: 一星期内的天（0~6，0为星期天）。
cmd要运行的程序，程序被送入sh执行，这个shell只有USER,HOME,SHELL这三个环境变量
说明 :
crontab 是用来让使用者在固定时间或固定间隔执行程序之用，换句话说，也就是类似使用者的时程表。-u user 是指设定指定
user 的时程表，这个前提是你必须要有其权限(比如说是 root)才能够指定他人的时程表。如果不使用 -u user 的话，就是表示设
定自己的时程表。
参数 :
crontab -e : 执行文字编辑器来设定时程表，内定的文字编辑器是 VI，如果你想用别的文字编辑器，则请先设定 VISUAL 环境变数
来指定使用那个文字编辑器(比如说 setenv VISUAL joe)
crontab -r : 删除目前的时程表
crontab -l : 列出目前的时程表
crontab file [-u user]-用指定的文件替代目前的crontab。
时程表的格式如下 :
f1 f2 f3 f4 f5 program
其中 f1 是表示分钟，f2 表示小时，f3 表示一个月份中的第几日，f4 表示月份，f5 表示一个星期中的第几天。program 表示要执
行的程序。
当 f1 为 * 时表示每分钟都要执行 program，f2 为 * 时表示每小时都要执行程序，其馀类推
当 f1 为 a-b 时表示从第 a 分钟到第 b 分钟这段时间内要执行，f2 为 a-b 时表示从第 a 到第 b 小时都要执行，其馀类推
当 f1 为 */n 时表示每 n 分钟个时间间隔执行一次，f2 为 */n 表示每 n 小时个时间间隔执行一次，其馀类推
当 f1 为 a, b, c,... 时表示第 a, b, c,... 分钟要执行，f2 为 a, b, c,... 时表示第 a, b, c...个小时要执行，其馀类推
使用者也可以将所有的设定先存放在档案 file 中，用 crontab file 的方式来设定时程表。
例子 :
#每天早上7点执行一次 /bin/ls :
0 7 * * * /bin/ls
在 12 月内, 每天的早上 6 点到 12 点中，每隔3个小时执行一次 /usr/bin/backup :
0 6-12/3 * 12 * /usr/bin/backup
周一到周五每天下午 5:00 寄一封信给 alex@domain.name :
0 17 * * 1-5 mail -s "hi" alex@domain.name < /tmp/maildata
每月每天的午夜 0 点 20 分, 2 点 20 分, 4 点 20 分....执行 echo "haha"
20 0-23/2 * * * echo "haha"
注意 :
当程序在你所指定的时间执行后，系统会寄一封信给你，显示该程序执行的内容，若是你不希望收到这样的信，请在每一行空一格之
后加上 > /dev/null 2>&1 即可
例子2 :
#每天早上6点10分
10 6 * * * date
#每两个小时
0 */2 * * * date
#晚上11点到早上8点之间每两个小时，早上8点
0 23-7/2，8 * * * date
#每个月的4号和每个礼拜的礼拜一到礼拜三的早上11点
0 11 4 * mon-wed date
#1月份日早上4点
0 4 1 jan * date
范例
$crontab -l 列出用户目前的crontab.
以上是关于Linux定时对日志批量打包Shell脚本及定时任务crontab 详细用法的主要内容，如果未能解决你的问题，请参考以下文章