定时任务实战

Posted zpzp7878

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了定时任务实战相关的知识，希望对你有一定的参考价值。

1，生产环境常用Crontab专业实例

1.1书写crontab定时任务多个基本要领

1.1.1 规范定时任务两例

例1:每分钟打印一次自己的名字拼音全拼到“/server/log/自己的名字命名的文件”中。

[[email protected] ~]# mkdir -p /server/log/
[[email protected] ~]# echo "chensiqi" >>/server/log/chensiqi
[[email protected] ~]# cat /server/log/chensiqi 
chensiqi
[[email protected] ~]# crontab -e
crontab: installing new crontab
[[email protected] ~]# crontab -l
##print name to file
* * * * * /bin/echo "chensiqi" >>/server/log/chensiqi
[[email protected] ~]#

解答：
方法1:

#print my name to log by chensiqi at 2017211
* * * * * /bin/echo "chensiqi" >>/server/log/chensiqi

方法2

#print my name to log by chensiqi at 2017211
*/1 * * * * /bin/echo "chensiqi" >>/server/log/chensiqi >dev/null 2>&1
提示：这是一个错误的定时任务，请同学们思考错在了哪里？

解答知识小结：

1，定时任务要加注释
2，如果已经要定向到文件中，结尾不要有>/dev/null 2>&1
3，／server/log目录必须要存在才能出结果，如没有创建这个目录。
4，定时任务中的路径一定要绝对路径
5，crond服务必须首先开启
6，查看定时任务日志tail /var/log/cron

例2:每周六，日上午9点和下午14点（执行/server/scripts/chensiqi.sh）.要求：/server/scripts/chensiqi.sh脚本的功能是打印当天的日期：格式为2017-02-11可以随意。

解答：

##
00 9,14 * * 0,6 /bin/sh /server/scripts/chensiqi.sh >/dev/null 2>&1

步骤：

  • 1，创建对应的目录
    mkdir /server/scripts -p
  • 2,命令行测试
    date +%F 2017-02-11
  • 3,书写脚本
    echo ‘date +%F‘ >/server/scripts/chensiqi.sh cat /server/scripts/chensiqi.sh
  • 4,命令行测试脚本
    /bin/sh /server/scripts/chensiqi.sh
    2017-02-11
  • 5,编辑定时任务（让他快速执行*****）
    crontab -e
    #sync time chensiqi at 20170211 */5 * * * * /usr/sbin/ntpdate ntp1.aliyun.com >>/server/log/chensiqi.log 2>&1

注意：
测试的时候最好定向到一个文件中。

  • 6,测试
    tail -f /server/log/chensiqi.log
    2017-02-11
  • 7,按照原来的要求更改定时任务的时间
#go to chensiqi trainning by chensiqi at 20170211
00 09,14 * * 0,6 /bin/sh /server/scripts/chensiqi.sh >>/server/log/chensiqi.log

技巧：

  1. 定时任务一定要尽量用脚本实现。
  2. 命令行操作成功，然后放入脚本执行（/bin/sh 脚本全路径）成功，最后在配置任务
  3. 复制操作成功的命令行脚本，再定时任务里黏贴配置。
  4. 加/bin/sh执行脚本 /bin/sh /server/script/chensiqi.sh
  5. 要把脚本的执行结果定向到空或者是一个文件中，不要什么都不加。

1.1.2 定时任务书写要领

  • 要领1:为定时任务规则加必要的注释

加必要注释：写定时任务规则时尽可能的加上注释（最好是英文注释），这是个好的习惯和规范。
例如：谁在什么时间干了什么（注释内容）什么人，什么时间，因为什么，做了什么。如果这些都标记清楚了，这样其他的运维人员可以很容易的理解任务的信息，从而提升团队的工作效率。

  • 要领2:执行shell脚本任务前加/bin/sh

执行定时任务时，如果是执行脚本，请尽量在脚本前面加上/bin/sh命令，否则有可能因为忘了为脚本设定执行权限（x），从而以为OK了，结果无法完成任务，这样就“悲剧”了

  • 要领3:定时任务命令或脚本的结尾加>/dev/null 2>&1

定时任务（一般是脚本任务）规则的结尾最好加上>/dev/null 2>&1等内容，如果需要打印日志，则可以追加到指定的日志文件里（此时不要和/dev/null同时存在），尽量不要留空。如果任务是命令的话，结尾使用“>/dev/null 2>&1”时要多测试下，要有检查手段。如：/1 * * * echo "==" >>/tmp/chensiqi.log>/dev/null 2>&1 任务规则就是无法执行的。

  • 要领4:定时任务命令超过2条的命令执行，最好用脚本文件

超过2条的命令执行，最好用脚本文件。下面的方法就是不规范的，不专业的。
* * * * * sleep 1;echo chensiqi >> /server/log/chensiqi.log

标准写法：

[[email protected] /]# cat /server/scripts/log.sh
sleep1
echo chensiqi >> /server/log/chensiqi.log

定时任务写法：

* * * * * /bin/sh /server/scripts/log.sh >dev/null 2>&1

定时任务，给定时任务看病的日志/var/log/cron
  • 要领5:在指定用户下执行相关定时任务

需要root权限执行的任务可以登录到root用户下然后设置，如果不需要root权限，可以登录到普通用户下（也可以直接在root下crontab -u chensiqi -e 的写法直接设置），然后设置。这里要特别注意不同用户的环境变量问题，如果是调用了系统环境变量/etc/profile（如生产场景中java程序的定时任务），最好在程序脚本中将用到的环境变量重新export下（下文有案例）。

  • 要领6:生产任务程序不要随意打印输出信息。
    尽量关闭取消没有用的输出（命令的执行过程）
    1，定向到文件
    2，>/dev/null 2>&1
    在开发定时任务程序或脚本时，在调试好脚本程序后，应尽量把DEBUG及命令输出的内容信息屏蔽掉，如果确实需要输出日志，可定向到执行日志文件里，避免产生系统垃圾。

  • 要领7:定时任务命令或程序最好写到脚本里执行

  • 要领8:定时任务执行的脚本要规范路径

例如：/server/scripts

  • 要领9:配置定时任务规范操作过程，防止出错。

1，首先要在命令行操作成功，然后复制成功的命令到脚本里，在各个细小环节减少出错的机会。
2，然后测试脚本，测试成功后，复制脚本的规范路径到定时任务配置里，不要手敲。
3，先在测试环境下测试，然后正式环境规范部署

小结：

书写定时任务的若干要领方法：
要领1：为定时任务规则加必要的注释。
要领2:执行shell脚本任务前加/bin/sh
要领3:定时任务命令或脚本结尾加>/dev/null 2>&1
要领4:定时任务命令或程序最好写到脚本里执行
要领5:在指定用户下执行相关的定时任务
要领6:生产任务程序不要随意打印输出信息
要领7:定时任务执行的脚本要规范路径（/server/scripts）
要领8:配置定时任务规范操作过程

1.1.3 在命令行输入./chensiqi.sh(/server/scripts/chensiqi.sh)与sh chensiqi.sh区别在哪？

 [[email protected] ~]# cat chensiqi.sh
 #!/bin/bash

echo "chensiqi"
[[email protected] ~]# ll chensiqi.sh
-rw-r--r--. 1 root root 29 Feb 10 21:44 chensiqi.sh
[[email protected] ~]# sh chensiqi.sh
chensiqi
[[email protected] ~]# ./chensiqi.sh
-bash: ./chensiqi.sh: Permission denied
[[email protected] ~]# 

命令说明：
sh chensiqi.sh表示用/bin/sh这个命令来解析并启动chensiqi.sh这个脚本。而./chensiqi.sh表示利用linux的默认解释器来解析并启动这个脚本。因此，./chensiqi.sh需要linux下x的执行权限，而sh chensiqi.sh不需要。

1.1.4 定时任务不加>/dev/null 2>&1的后果

  • 如果定时任务规则结尾不加>/dev/null 2>&1等命令配置，有可能有大量输出信息，时间长了，可能由于系统未开启邮件服务而导致邮件临时目录/var/spool/clientmqueue 文件数猛增的隐患发生，大量文件会占用大量磁盘inode节点（每个文件占一个inode），以致磁盘inode满而无法写入正常数据（下文有案例）。
  • 提示：上面的>/dev/null 2>&1 写法也可以写成1>/dev/null 2>/dev/null，例：$JAVA-jar $RESIN_HOME/lib/resin.jar $ARGS stop 1>/dev/null 2>/dev/null 此写法来自resin服务默认启动脚本
  • 上述是centos5.8的情况，假如系统不安装sendmail（Centos6.4）,那是不是就没有上述问题了？

企业案例：：如果定时任务规则结尾不加>/dev/null 2>&1，很容易导致硬盘inode空间被占满，从而系统服务不正常。

当一个定时任务执行的时候，就会给系统发一封邮件。sendmail邮件服务，经常是关闭的，所以定时任务发送的邮件就会临时堆在/var/spool/clientmqueue/,时间长了，/var/spool/clientmqueue/文件数特别多。Centos5的时候一定会有这个问题。

Centos6呢？请往下看。

[[email protected] ~]# cat /etc/redhat-release 
CentOS release 6.8 (Final)
[[email protected] ~]# crontab -l 
#go to chensiqi trainning by chensiqi at 20170211
* * * * * /bin/sh /root/chensiqi.sh
[[email protected] ~]# ls /var/spool/postfix/maildrop/
D3AD0C6  DB2BAC9  E14E6D0  E5222D1
[[email protected] ~]# 

命令说明：
定时任务没定向到空，postfix服务没有开启的话，那么每执行一次定时任务，/var/spool/postfix/maildrop/文件夹下就会产生一个小文件，随着时间累计，就会越来越多，导致出现问题。
如果开启了邮件服务，就会直接给root发送邮件。

解决方法：
1，删除大量小文件/var/spool/postfix/maildrop/下所有文件(ls|xargs rm -f)
2，临时开启postfix（sendmail）服务
3,vi /etc/crontab:将‘MAILTO=root’替换成‘MAILTO=“”’然后service crond restart即可。（如果还不行，crontab -e 第一行增加MAILTO=“”）

亡羊补牢：

定时任务定向到空>/dev/null 2>&1

目录名解释
/var/spool/clientmqueue centos5.xsendmail临时邮件文件目录，有很多原因会导致这个目录碎文件很多，比如crontab定时任务命令不加>/dev/null等，并且sendmail服务没开。工作中偶尔会因为该目录文件太多，导致/var所在的分区inode数量被消耗尽，无法写入文件的情况
/var/spool/postfix/maildrop/ centos6.x postfix临时队列目录/var/spool/postfix/maildrop/默认定时任务执行时会给root发邮件，如果邮件服务不开，就会把邮件推到上述目录。当定时任务结尾不加>/dev/null 2>&1的时候，定时任务就会在上述目录存大量小文件

1.2 定时任务的系统配置文件/etc/crontab

[[email protected] ~]# cat /etc/crontab
SHELL=/bin/bash  
PATH=/sbin:/bin:/usr/sbin:/usr/bin 
MAILTO=root  
HOME=/  

# For details see man 4 crontabs

# Example of job definition:
# .---------------- minute (0 - 59)
# |  .------------- hour (0 - 23)
# |  |  .---------- day of month (1 - 31)
# |  |  |  .------- month (1 - 12) OR jan,feb,mar,apr ...
# |  |  |  |  .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat
# |  |  |  |  |
# *  *  *  *  * user-name command to be executed

SHELL=/bin/bash #shell解释器
PATH=/sbin:/bin:/usr/sbin:/usr/bin #PATH环境变量
MAILTO=root #定义如果任务有输出，发给哪个用户，默认发给root用户
HOME=/ #定时任务执行命令从根目录开始

轮询的日志（日志轮询）：周期性切割日志
系统的定时任务+logrotate

[[email protected] ~]# cat /etc/cron.daily/logrotate 
#!/bin/sh

/usr/sbin/logrotate /etc/logrotate.conf
EXITVALUE=$?
if [ $EXITVALUE != 0 ]; then
    /usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]"
fi
exit 0
[[email protected] ~]ll /var/log/messages*
-rw-------. 1 root root   58049 Feb 10 23:18 /var/log/messages
-rw-------. 1 root root 1492005 Jan  2 06:51 /var/log/messages-20170102
-rw-------. 1 root root  633737 Jan  8 08:02 /var/log/messages-20170108
-rw-------. 1 root root 1594144 Feb  4 04:25 /var/log/messages-20170204
-rw-------. 1 root root   21512 Feb  6 03:41 /var/log/messages-20170206
[[email protected] ~]# ll /var/log/secure*
-rw-------. 1 root root  4810 Feb 10 22:39 /var/log/secure
-rw-------. 1 root root 64822 Jan  2 06:27 /var/log/secure-20170102
-rw-------. 1 root root 14187 Jan  8 07:22 /var/log/secure-20170108
-rw-------. 1 root root 13540 Jan 12 00:17 /var/log/secure-20170204
-rw-------. 1 root root  5723 Feb  6 02:50 /var/log/secure-20170206

1.3 企业生产场景如何调试crontab定时任务

1.3.1 增加执行任务频率调试任务（某些任务不能用于生产环境）

1，在调试时，把任务执行频率调快一点，如：每分钟，每5分钟执行一次，或者比当前时间推迟5分钟以后，看能否执行，是不是按照你想象的去执行了，如果正常没问题了，在改成需要的任务的执行时间。

强调：有些计划任务是不允许频繁执行的，例如：定时往数据库里插入数据，这样的任务就要在测试机上测试好，然后部署到正式线上，这样正式工作出问题的机会就少了。

规范的公司开发和运维人员操作流程，个人的开发配置环境-->办公室的测试环境-->idc机房的测试环境-->idc机房的正式环境。

使用log文件调试任务

          • /bin/sh /server/scripts/del_sys_file.sh >/tmp/file.log 2>&1

1.3.2 调整系统时间调试任务（不能用于生产环境）

如字面意思，调整系统时间，以达到接近触发计划任务的目的进行调试。

1.3.3 通过脚本日志输出调试定时任务

在脚本中加入日志输出，然后把输出打到指定的日志中，然后观察日志内容结果，看是否执行或正确执行。或像下面的内容把脚本结果定向到一个log文件里，重定向>即可，不需要>>追加，这样日志就不会一直变大，如/app/log.log。

#study task by chensiqi at 20170211
00 09,14 * * 0,6 /bin/sh /server/scripts/chensiqi.sh >/app/log.log 2>&1
也可以在脚本里面echo 1 >/tmp/a.log
脚本中加输出
[[email protected] ~]# cat tar.sh
cd /
tar zcvf /tmp/etc_$(date +%Y%m%d%H).tar.gz ./etc >/tmp/tmp.log 2>&1

sh -x 显示脚本的执行过程

[[email protected] ~]# /bin/sh /server/scripts/chensiqi.sh
2017-02-11
[[email protected] ~]# /bin/sh -x /server/scripts/chensiqi.sh
+ date +%F
2017-02-11

1.3.4 注意环境变量导致的定时任务故障

PATH
在调试java程序任务的时候，注意环境变量，把环境变量的定义加到脚本里。
例：

[[email protected] ~]# cat /scripts/resin/shell/Task.sh
#!/bin/bash
export JAVA_HOME=/application/jdk1.6
export PATH=$JAVA_HOME/bin:$PATH
export SH_HOME=/application/resin/webapps/ROOT/
export LIB=$SH_HOME/WEB-INF/lib
以下省略...

定时任务：
00 09,14 * * * nohup /scripts/resin/shell/Task.sh & >/app/log.log 2>&1
提示：命令也要尽可能写全路径。

1.3.5 通过crond定时任务服务日志调试定时任务

查看定时任务服务日志

[[email protected] ~]# tail -f /var/log/cron
Feb 10 23:50:01 chensiqi1 CROND[15949]: (root) CMD (/usr/lib64/sa/sa1 1 1)
Feb 10 23:53:01 chensiqi1 CROND[15955]: (root) CMD (/usr/lib64/sa/sa2 -A)
Feb 11 00:00:01 chensiqi1 CROND[15987]: (root) CMD (/usr/lib64/sa/sa1 1 1)
Feb 11 00:01:01 chensiqi1 CROND[15992]: (root) CMD (run-parts /etc/cron.hourly)
Feb 11 00:01:01 chensiqi1 run-parts(/etc/cron.hourly)[15992]: starting 0anacron
Feb 11 00:01:01 chensiqi1 anacron[16003]: Anacron started on 2017-02-11
Feb 11 00:01:01 chensiqi1 anacron[16003]: Jobs will be executed sequentially
Feb 11 00:01:01 chensiqi1 anacron[16003]: Normal exit (0 jobs run)
Feb 11 00:01:01 chensiqi1 run-parts(/etc/cron.hourly)[16005]: finished 0anacron
Feb 11 00:10:01 chensiqi1 CROND[16008]: (root) CMD (/usr/lib64/sa/sa1 1 1)

1.3.6 其他稀奇古怪的问题调试的办法

直接命令行执行无问题而放到定时任务就不行
综合前边1-5的方法就可以解决几乎所有遇到的问题了，此类问题主要是多看crond服务日志，并且把程序输出到指定日志分析。











































以上是关于定时任务实战的主要内容，如果未能解决你的问题，请参考以下文章

【SpringBoot实战】分布式定时任务锁Shedlock

分布式定时任务调度框架 - Quartz学习及实战记录笔记

分布式定时任务调度框架 - Quartz学习及实战记录笔记

Spring Boot 2.x实战之定时任务调度

Spring Boot 2.x实战之定时任务调度

SpringBoot+UDPClient+定时任务通信实战