定时任务实战

Posted zpzp7878

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了定时任务实战相关的知识,希望对你有一定的参考价值。

1,生产环境常用Crontab专业实例

1.1书写crontab定时任务多个基本要领

1.1.1 规范定时任务两例

例1:每分钟打印一次自己的名字拼音全拼到“/server/log/自己的名字命名的文件”中。

[[email protected] ~]# mkdir -p /server/log/
[[email protected] ~]# echo "chensiqi" >>/server/log/chensiqi
[[email protected] ~]# cat /server/log/chensiqi 
chensiqi
[[email protected] ~]# crontab -e
crontab: installing new crontab
[[email protected] ~]# crontab -l
##print name to file
* * * * * /bin/echo "chensiqi" >>/server/log/chensiqi
[[email protected] ~]# 

解答:
方法1:

#print my name to log by chensiqi at 2017211
* * * * * /bin/echo "chensiqi" >>/server/log/chensiqi

方法2

#print my name to log by chensiqi at 2017211
*/1 * * * * /bin/echo "chensiqi" >>/server/log/chensiqi >dev/null 2>&1
提示:这是一个错误的定时任务,请同学们思考错在了哪里?

解答知识小结:

1,定时任务要加注释
2,如果已经要定向到文件中,结尾不要有>/dev/null 2>&1
3,/server/log目录必须要存在才能出结果,如没有创建这个目录。
4,定时任务中的路径一定要绝对路径
5,crond服务必须首先开启
6,查看定时任务日志tail /var/log/cron

例2:每周六,日上午9点和下午14点(执行/server/scripts/chensiqi.sh).要求:/server/scripts/chensiqi.sh脚本的功能是打印当天的日期:格式为2017-02-11可以随意。

解答:

##
00 9,14 * * 0,6 /bin/sh /server/scripts/chensiqi.sh >/dev/null 2>&1

步骤:

  • 1,创建对应的目录
    mkdir /server/scripts -p
  • 2,命令行测试
    date +%F 2017-02-11
  • 3,书写脚本
    echo ‘date +%F‘ >/server/scripts/chensiqi.sh cat /server/scripts/chensiqi.sh
  • 4,命令行测试脚本
    /bin/sh /server/scripts/chensiqi.sh
    2017-02-11
  • 5,编辑定时任务(让他快速执行*****)
    crontab -e
    #sync time chensiqi at 20170211 */5 * * * * /usr/sbin/ntpdate ntp1.aliyun.com >>/server/log/chensiqi.log 2>&1

注意:
测试的时候最好定向到一个文件中。

  • 6,测试
    tail -f /server/log/chensiqi.log
    2017-02-11
  • 7,按照原来的要求更改定时任务的时间
#go to chensiqi trainning by chensiqi at 20170211
00 09,14 * * 0,6 /bin/sh /server/scripts/chensiqi.sh >>/server/log/chensiqi.log

技巧:

  1. 定时任务一定要尽量用脚本实现。
  2. 命令行操作成功,然后放入脚本执行(/bin/sh 脚本全路径)成功,最后在配置任务
  3. 复制操作成功的命令行脚本,再定时任务里黏贴配置。
  4. 加/bin/sh执行脚本 /bin/sh /server/script/chensiqi.sh
  5. 要把脚本的执行结果定向到空或者是一个文件中,不要什么都不加。

1.1.2 定时任务书写要领

  • 要领1:为定时任务规则加必要的注释

加必要注释:写定时任务规则时尽可能的加上注释(最好是英文注释),这是个好的习惯和规范。
例如:谁在什么时间干了什么(注释内容)什么人,什么时间,因为什么,做了什么。如果这些都标记清楚了,这样其他的运维人员可以很容易的理解任务的信息,从而提升团队的工作效率。

  • 要领2:执行shell脚本任务前加/bin/sh

执行定时任务时,如果是执行脚本,请尽量在脚本前面加上/bin/sh命令,否则有可能因为忘了为脚本设定执行权限(x),从而以为OK了,结果无法完成任务,这样就“悲剧”了

  • 要领3:定时任务命令或脚本的结尾加>/dev/null 2>&1

定时任务(一般是脚本任务)规则的结尾最好加上>/dev/null 2>&1等内容,如果需要打印日志,则可以追加到指定的日志文件里(此时不要和/dev/null同时存在),尽量不要留空。如果任务是命令的话,结尾使用“>/dev/null 2>&1”时要多测试下,要有检查手段。如:/1 * * * echo "==" >>/tmp/chensiqi.log>/dev/null 2>&1 任务规则就是无法执行的。

  • 要领4:定时任务命令超过2条的命令执行,最好用脚本文件

超过2条的命令执行,最好用脚本文件。下面的方法就是不规范的,不专业的。
* * * * * sleep 1;echo chensiqi >> /server/log/chensiqi.log

标准写法:

[[email protected] /]# cat /server/scripts/log.sh
sleep1
echo chensiqi >> /server/log/chensiqi.log

定时任务写法:

* * * * * /bin/sh /server/scripts/log.sh >dev/null 2>&1

定时任务,给定时任务看病的日志/var/log/cron
  • 要领5:在指定用户下执行相关定时任务

需要root权限执行的任务可以登录到root用户下然后设置,如果不需要root权限,可以登录到普通用户下(也可以直接在root下crontab -u chensiqi -e 的写法直接设置),然后设置。这里要特别注意不同用户的环境变量问题,如果是调用了系统环境变量/etc/profile(如生产场景中java程序的定时任务),最好在程序脚本中将用到的环境变量重新export下(下文有案例)。

  • 要领6:生产任务程序不要随意打印输出信息。
    尽量关闭取消没有用的输出(命令的执行过程)
    1,定向到文件
    2,>/dev/null 2>&1
    在开发定时任务程序或脚本时,在调试好脚本程序后,应尽量把DEBUG及命令输出的内容信息屏蔽掉,如果确实需要输出日志,可定向到执行日志文件里,避免产生系统垃圾。

  • 要领7:定时任务命令或程序最好写到脚本里执行

  • 要领8:定时任务执行的脚本要规范路径

例如:/server/scripts

  • 要领9:配置定时任务规范操作过程,防止出错。

1,首先要在命令行操作成功,然后复制成功的命令到脚本里,在各个细小环节减少出错的机会。
2,然后测试脚本,测试成功后,复制脚本的规范路径到定时任务配置里,不要手敲。
3,先在测试环境下测试,然后正式环境规范部署

小结:

书写定时任务的若干要领方法:
要领1:为定时任务规则加必要的注释。
要领2:执行shell脚本任务前加/bin/sh
要领3:定时任务命令或脚本结尾加>/dev/null 2>&1
要领4:定时任务命令或程序最好写到脚本里执行
要领5:在指定用户下执行相关的定时任务
要领6:生产任务程序不要随意打印输出信息
要领7:定时任务执行的脚本要规范路径(/server/scripts)
要领8:配置定时任务规范操作过程

1.1.3 在命令行输入./chensiqi.sh(/server/scripts/chensiqi.sh)与sh chensiqi.sh区别在哪?

 [[email protected] ~]# cat chensiqi.sh
 #!/bin/bash

echo "chensiqi"
[[email protected] ~]# ll chensiqi.sh
-rw-r--r--. 1 root root 29 Feb 10 21:44 chensiqi.sh
[[email protected] ~]# sh chensiqi.sh
chensiqi
[[email protected] ~]# ./chensiqi.sh
-bash: ./chensiqi.sh: Permission denied
[[email protected] ~]# 

命令说明:
sh chensiqi.sh表示用/bin/sh这个命令来解析并启动chensiqi.sh这个脚本。而./chensiqi.sh表示利用linux的默认解释器来解析并启动这个脚本。因此,./chensiqi.sh需要linux下x的执行权限,而sh chensiqi.sh不需要。

1.1.4 定时任务不加>/dev/null 2>&1的后果

  • 如果定时任务规则结尾不加>/dev/null 2>&1等命令配置,有可能有大量输出信息,时间长了,可能由于系统未开启邮件服务而导致邮件临时目录/var/spool/clientmqueue 文件数猛增的隐患发生,大量文件会占用大量磁盘inode节点(每个文件占一个inode),以致磁盘inode满而无法写入正常数据(下文有案例)。
  • 提示:上面的>/dev/null 2>&1 写法也可以写成1>/dev/null 2>/dev/null,例:$JAVA-jar $RESIN_HOME/lib/resin.jar $ARGS stop 1>/dev/null 2>/dev/null 此写法来自resin服务默认启动脚本
  • 上述是centos5.8的情况,假如系统不安装sendmail(Centos6.4),那是不是就没有上述问题了?

企业案例::如果定时任务规则结尾不加>/dev/null 2>&1,很容易导致硬盘inode空间被占满,从而系统服务不正常。

当一个定时任务执行的时候,就会给系统发一封邮件。sendmail邮件服务,经常是关闭的,所以定时任务发送的邮件就会临时堆在/var/spool/clientmqueue/,时间长了,/var/spool/clientmqueue/文件数特别多。Centos5的时候一定会有这个问题。

Centos6呢?请往下看。

[[email protected] ~]# cat /etc/redhat-release 
CentOS release 6.8 (Final)
[[email protected] ~]# crontab -l 
#go to chensiqi trainning by chensiqi at 20170211
* * * * * /bin/sh /root/chensiqi.sh
[[email protected] ~]# ls /var/spool/postfix/maildrop/
D3AD0C6  DB2BAC9  E14E6D0  E5222D1
[[email protected] ~]# 

命令说明:
定时任务没定向到空,postfix服务没有开启的话,那么每执行一次定时任务,/var/spool/postfix/maildrop/文件夹下就会产生一个小文件,随着时间累计,就会越来越多,导致出现问题。
如果开启了邮件服务,就会直接给root发送邮件。

解决方法:
1,删除大量小文件/var/spool/postfix/maildrop/下所有文件(ls|xargs rm -f)
2,临时开启postfix(sendmail)服务
3,vi /etc/crontab:将‘MAILTO=root’替换成‘MAILTO=“”’然后service crond restart即可。(如果还不行,crontab -e 第一行增加MAILTO=“”)

亡羊补牢:

定时任务定向到空>/dev/null 2>&1

目录名解释
/var/spool/clientmqueue centos5.xsendmail临时邮件文件目录,有很多原因会导致这个目录碎文件很多,比如crontab定时任务命令不加>/dev/null等,并且sendmail服务没开。工作中偶尔会因为该目录文件太多,导致/var所在的分区inode数量被消耗尽,无法写入文件的情况
/var/spool/postfix/maildrop/ centos6.x postfix临时队列目录/var/spool/postfix/maildrop/默认定时任务执行时会给root发邮件,如果邮件服务不开,就会把邮件推到上述目录。当定时任务结尾不加>/dev/null 2>&1的时候,定时任务就会在上述目录存大量小文件

1.2 定时任务的系统配置文件/etc/crontab

[[email protected] ~]# cat /etc/crontab
SHELL=/bin/bash  
PATH=/sbin:/bin:/usr/sbin:/usr/bin 
MAILTO=root  
HOME=/  

# For details see man 4 crontabs

# Example of job definition:
# .---------------- minute (0 - 59)
# |  .------------- hour (0 - 23)
# |  |  .---------- day of month (1 - 31)
# |  |  |  .------- month (1 - 12) OR jan,feb,mar,apr ...
# |  |  |  |  .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat
# |  |  |  |  |
# *  *  *  *  * user-name command to be executed

SHELL=/bin/bash #shell解释器
PATH=/sbin:/bin:/usr/sbin:/usr/bin #PATH环境变量
MAILTO=root #定义如果任务有输出,发给哪个用户,默认发给root用户
HOME=/ #定时任务执行命令从根目录开始

轮询的日志(日志轮询):周期性切割日志
系统的定时任务+logrotate

[[email protected] ~]# cat /etc/cron.daily/logrotate 
#!/bin/sh

/usr/sbin/logrotate /etc/logrotate.conf
EXITVALUE=$?
if [ $EXITVALUE != 0 ]; then
    /usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]"
fi
exit 0
[[email protected] ~]ll /var/log/messages*
-rw-------. 1 root root   58049 Feb 10 23:18 /var/log/messages
-rw-------. 1 root root 1492005 Jan  2 06:51 /var/log/messages-20170102
-rw-------. 1 root root  633737 Jan  8 08:02 /var/log/messages-20170108
-rw-------. 1 root root 1594144 Feb  4 04:25 /var/log/messages-20170204
-rw-------. 1 root root   21512 Feb  6 03:41 /var/log/messages-20170206
[[email protected] ~]# ll /var/log/secure*
-rw-------. 1 root root  4810 Feb 10 22:39 /var/log/secure
-rw-------. 1 root root 64822 Jan  2 06:27 /var/log/secure-20170102
-rw-------. 1 root root 14187 Jan  8 07:22 /var/log/secure-20170108
-rw-------. 1 root root 13540 Jan 12 00:17 /var/log/secure-20170204
-rw-------. 1 root root  5723 Feb  6 02:50 /var/log/secure-20170206

1.3 企业生产场景如何调试crontab定时任务

1.3.1 增加执行任务频率调试任务(某些任务不能用于生产环境)

1,在调试时,把任务执行频率调快一点,如:每分钟,每5分钟执行一次,或者比当前时间推迟5分钟以后,看能否执行,是不是按照你想象的去执行了,如果正常没问题了,在改成需要的任务的执行时间。

强调:有些计划任务是不允许频繁执行的,例如:定时往数据库里插入数据,这样的任务就要在测试机上测试好,然后部署到正式线上,这样正式工作出问题的机会就少了。

规范的公司开发和运维人员操作流程,个人的开发配置环境-->办公室的测试环境-->idc机房的测试环境-->idc机房的正式环境。

使用log文件调试任务

          • /bin/sh /server/scripts/del_sys_file.sh >/tmp/file.log 2>&1

1.3.2 调整系统时间调试任务(不能用于生产环境)

如字面意思,调整系统时间,以达到接近触发计划任务的目的进行调试。

1.3.3 通过脚本日志输出调试定时任务

在脚本中加入日志输出,然后把输出打到指定的日志中,然后观察日志内容结果,看是否执行或正确执行。或像下面的内容把脚本结果定向到一个log文件里,重定向>即可,不需要>>追加,这样日志就不会一直变大,如/app/log.log。

#study task by chensiqi at 20170211
00 09,14 * * 0,6 /bin/sh /server/scripts/chensiqi.sh >/app/log.log 2>&1
也可以在脚本里面echo 1 >/tmp/a.log
脚本中加输出
[[email protected] ~]# cat tar.sh
cd /
tar zcvf /tmp/etc_$(date +%Y%m%d%H).tar.gz ./etc >/tmp/tmp.log 2>&1

sh -x 显示脚本的执行过程

[[email protected] ~]# /bin/sh /server/scripts/chensiqi.sh
2017-02-11
[[email protected] ~]# /bin/sh -x /server/scripts/chensiqi.sh
+ date +%F
2017-02-11

1.3.4 注意环境变量导致的定时任务故障

PATH
在调试java程序任务的时候,注意环境变量,把环境变量的定义加到脚本里。
例:

[[email protected] ~]# cat /scripts/resin/shell/Task.sh
#!/bin/bash
export JAVA_HOME=/application/jdk1.6
export PATH=$JAVA_HOME/bin:$PATH
export SH_HOME=/application/resin/webapps/ROOT/
export LIB=$SH_HOME/WEB-INF/lib
以下省略...

定时任务:
00 09,14 * * * nohup /scripts/resin/shell/Task.sh & >/app/log.log 2>&1
提示:命令也要尽可能写全路径。

1.3.5 通过crond定时任务服务日志调试定时任务

查看定时任务服务日志

[[email protected] ~]# tail -f /var/log/cron
Feb 10 23:50:01 chensiqi1 CROND[15949]: (root) CMD (/usr/lib64/sa/sa1 1 1)
Feb 10 23:53:01 chensiqi1 CROND[15955]: (root) CMD (/usr/lib64/sa/sa2 -A)
Feb 11 00:00:01 chensiqi1 CROND[15987]: (root) CMD (/usr/lib64/sa/sa1 1 1)
Feb 11 00:01:01 chensiqi1 CROND[15992]: (root) CMD (run-parts /etc/cron.hourly)
Feb 11 00:01:01 chensiqi1 run-parts(/etc/cron.hourly)[15992]: starting 0anacron
Feb 11 00:01:01 chensiqi1 anacron[16003]: Anacron started on 2017-02-11
Feb 11 00:01:01 chensiqi1 anacron[16003]: Jobs will be executed sequentially
Feb 11 00:01:01 chensiqi1 anacron[16003]: Normal exit (0 jobs run)
Feb 11 00:01:01 chensiqi1 run-parts(/etc/cron.hourly)[16005]: finished 0anacron
Feb 11 00:10:01 chensiqi1 CROND[16008]: (root) CMD (/usr/lib64/sa/sa1 1 1)

1.3.6 其他稀奇古怪的问题调试的办法

直接命令行执行无问题而放到定时任务就不行
综合前边1-5的方法就可以解决几乎所有遇到的问题了,此类问题主要是多看crond服务日志,并且把程序输出到指定日志分析。











































以上是关于定时任务实战的主要内容,如果未能解决你的问题,请参考以下文章

【SpringBoot实战】分布式定时任务锁Shedlock

分布式定时任务调度框架 - Quartz学习及实战记录笔记

分布式定时任务调度框架 - Quartz学习及实战记录笔记

Spring Boot 2.x实战之定时任务调度

Spring Boot 2.x实战之定时任务调度

SpringBoot+UDPClient+定时任务通信实战