linux 定时执行shell脚本 定时任务

Posted 2020-08-21

本文讲述crontab具体用法，以供备忘.

在oracle 中可以利用dbms_job包定时执行pl/sql、sql过程，在像备份等需要在操作系统级定时任务只能采用crontab来完成

利用crontab来定时执行任务大致有如下三步：

1、编写shell脚本

2、利用crontab加入到定时任务队列

3、查看作业完成情况

一、如何建立shell脚本

linux下有很多不同的shell,但我们通常使用bash(bourne again shell)进行编程，因为bash是免费的并且很容易使用

程序必须以下面的行开始（必须方在文件的第一行）：

#! /bin/sh

符号#!用来告诉系统它后面的参数是用来执行该文件的程序。在这个例子中我们使用/bin/sh来执行程序。

当编辑好脚本时，要想执行脚本，必须使脚本可以执行

下面的命令，可以使脚本可以执行

chmod +x filename  （*执行后会变色）

然后可以输入./filename来执行脚本。

注：在shell编程时，#符号表示注释，只该行结束为止。在编写程序时，最好使用注释。

变量

shell下所有变量都以字符串表示，变量不需要声明，直接使用。直接对变量进行赋值

A="hello world"

取出变量用$符号，如:

#! /bin/sh

A="hello world"

echo "A is:"

echo $A

执行该脚本输出结果如下：

A is :

hello world

shell 命令和流程控制

1）unix命令

在shell中可以使用任意的unix命令，但这里介绍一些更常用的unix命令

echo ‘‘this is a example" :打印输出到屏幕

ls:列出文件列表

cp sourcefile destinationfile :拷贝文件

2）概念：管道，重定向和backtick

这些不是系统命令，但他们经常使用，很重要的

管道 | 将一个命令的输出作为另外一个命令的输入

grep -qa compat | more

重定向：将命令的结果输出到文件，而不是标准输出(屏幕)

〉写入文件并覆盖旧文件

〉〉输出追加到文件的尾部，保留旧文件。

3）流程控制

if ... ; then

...

else if ...;then

...

else

...

fi

通常情况下，可以通过测试命令来对条件进行测试，比如可以比较字符串，判断文件是否存在及是否有执行权限等等

通常用“ [ ] “来表示条件测试，注意这里空格很重要，要确保方括号空格

[ -f "somefile" ] ：判断是否是一个文件
[ -x "/bin/ls" ] ：判断/bin/ls是否存在并有可执行权限
[ -n "$var" ] ：判断$var变量是否有值
[ "$a" = "$b" ] ：判断$a和$b是否相等

 

实例　　一般编程步骤

任何优秀的脚本都应该有帮助和输入参数，并且写一个伪脚本framework.sh,该脚本包含了大多数脚本都需要的框架结构。

是个非常不错的注意。这时候，我们编写脚本时只需要执行cp命令即可

cp framework.sh myscript

然后插入自己需要的函数就可以了

调试

最简单的调试命令当然是使用echo命令。您可以使用echo在任何怀疑出错的地方打印任何变量值。这也是绝大多数的shell程序员要花费80%的时间来调试程序的原因。Shell程序的好处在于不需要重新编译，插入一个echo命令也不需要多少时间。

　　shell也有一个真实的调试模式。如果在脚本"strangescript" 中有错误，您可以这样来进行调试：

sh -x strangescript

　　这将执行该脚本并显示所有变量的值。

　　shell还有一个不需要执行脚本只是检查语法的模式。可以这样使用：

sh -n your_script

　　这将返回所有语法错误。

Redhat linux AS 3 下定时执行任务 

二、cron调度进程

c r o n是系统主要的调度进程，可以在无需人工干预的情况下运行作业。有一个叫做 
c r o n t a b的命令允许用户提交、编辑或删除相应的作业。每一个用户都可以有一个c r o n t a b文件 
来保存调度信息。可以使用它运行任意一个s h e l l脚本或某个命令，每小时运行一次，或一周 
三次，这完全取决于你。每一个用户都可以有自己的c r o n t a b文件，但在一个较大的系统中， 
系统管理员一般会禁止这些文件，而只在整个系统保留一个这样的文件。系统管理员是通过 
c r o n . d e n y和c r o n . a l l o w这两个文件来禁止或允许用户拥有自己的c r o n t a b文件。 
3.1.1 crontab的域 
为了能够在特定的时间运行作业，需要了解c r o n t a b文件每个条目中各个域的意义和格式。 
下面就是这些域： 
第1列分钟1～5 9 
第2列小时1～2 3（0表示子夜） 
第3列日1～3 1 
第4列月1～1 2 
第5列星期0～6（0表示星期天） 
第6列要运行的命令 
  
crontab的范例格式： 
下面是c r o n t a b的格式： 
分< >时< >日< >月< >星期< >要运行的命令 
其中< >表示空格。 
C r o n t a b文件的一个条目是从左边读起的，第一列是分，最后一列是要运行的命令，它位 
于星期的后面。 
在这些域中，可以用横杠-来表示一个时间范围，例如你希望星期一至星期五运行某个作 
业，那么可以在星期域使用1 - 5来表示。还可以在这些域中使用逗号“,”，例如你希望星期一 
和星期四运行某个作业，只需要使用1 , 4来表示。可以用星号*来表示连续的时间段。如果你 
对某个表示时间的域没有特别的限定，也应该在该域填入*。该文件的每一个条目必须含有5 
个时间域，而且每个域之间要用空格分隔。该文件中所有的注释行要在行首用#来表示。 
  
crontab条目举例 
这里有c r o n t a b文件条目的一些例子： 
30 21* * * /apps/bin/cleanup.sh 
上面的例子表示每晚的2 1 : 3 0运行/ a p p s / b i n目录下的c l e a n u p . s h。 
45 4 1,10,22 * * /apps/bin/backup.sh 
上面的例子表示每月1、1 0、2 2日的4 : 4 5运行/ a p p s / b i n目录下的b a c k u p . s h。 
10 1 * * 6,0 /bin/find -name "core" -exec rm {} ; 
上面的例子表示每周六、周日的1 : 1 0运行一个f i n d命令。 
0,30 18-23 * * * /apps/bin/dbcheck.sh 
上面的例子表示在每天1 8 : 0 0至2 3 : 0 0之间每隔3 0分钟运行/ a p p s / b i n目录下的d b c h e c k . s h。 
0 23 * * 6 /apps/bin/qtrend.sh 
上面的例子表示每星期六的11 : 0 0 p m运行/ a p p s / b i n目录下的q t r e n d . s h。 
  
你可能已经注意到上面的例子中，每个命令都给出了绝对路径。当使用c r o n t a b运行s h e l l 
脚本时，要由用户来给出脚本的绝对路径，设置相应的环境变量。记住，既然是用户向c r o n 
提交了这些作业，就要向c r o n提供所需的全部环境。不要假定c r o n知道所需要的特殊环境，它 
其实并不知道。所以你要保证在s h e l l脚本中提供所有必要的路径和环境变量，除了一些自动 
设置的全局变量。 
  
命令形式： 
c r o n t a b命令的一般形式为： 
Crontab [-u user] -e -l -r 
其中： 
-u 用户名。 
-e 编辑c r o n t a b文件。 
-l 列出c r o n t a b文件中的内容。 
-r 删除c r o n t a b文件。 
如果使用自己的名字登录，就不用使用- u选项，因为在执行c r o n t a b命令时，该命令能够 
知道当前的用户 
  
建一个新的crontab文件 
  
在考虑向c r o n进程提交一个c r o n t a b文件之前，首先要做的一件事情就是设置环境变量 
E D I TO R。c r o n进程根据它来确定使用哪个编辑器编辑c r o n t a b文件。9 9 %的U N I X和L I N U X用 
户都使用v i，如果你也是这样，那么你就编辑$ H O M E目录下的. p r o f i l e文件，在其中加入这样 
一行： 
EDITOR=vi; export EDITOR 
然后保存并退出。 
不妨创建一个名为< u s e r > c r o n的文件，其中< u s e r >是用户名，例如， j a m e s c r o n。在该文件中加入如下的内容。 
＃。。。。这里是解释的话 
0，15，30，45 18－06 * * * /bin/echo ‘time‘>/dev/console 
  
保存并退出。确信前面5个域用空格分隔。 
在上面的例子中，系统将每隔1 5分钟向控制台输出一次当前时间。如果系统崩溃或挂起， 
从最后所显示的时间就可以一眼看出系统是什么时间停止工作的。在有些系统中，用t t y 1来表 
示控制台，可以根据实际情况对上面的例子进行相应的修改。 
为了提交你刚刚创建的c r o n t a b文件，可以把这个新创建的文件作为c r o n命令的参数： 
$ crontab jamescron 
现在该文件已经提交给c r o n进程，它将每隔1 5分钟运行一次。 
同时，新创建文件的一个副本已经被放在/ v a r / s p o o l / c r o n目录中，文件名就是用户名（即， 
james）。 
  
列出crontab文件： 
  
为了列出c r o n t a b文件，可以用： 
你将会看到和上面类似的内容。可以使用这种方法在$ H O M E目录中对c r o n t a b文件做一备 
份： 
$ crontab -l > $HOME/mycron 
这样，一旦不小心误删了c r o n t a b文件，可以用上一节所讲述的方法迅速恢复。 
  
编辑crontab文件： 
  
如果希望添加、删除或编辑c r o n t a b文件中的条目，而E D I TO R环境变量又设置为v i，那么 
就可以用v i来编辑c r o n t a b文件，相应的命令为： 
$ crontab -e 
可以像使用v i编辑其他任何文件那样修改c r o n t a b文件并退出。如果修改了某些条目或添加了新的条目，那么在保存该文件时， c r o n会对其进行必要的完整性检查。如果其中的某个域出现了超出允许范围的值，它会提示你。 
保存并退出。最好在c r o n t a b文件的每一个条目之上加入一条注释，这样就可以知道 
它的功能、运行时间，更为重要的是，知道这是哪位用户的作业。 
可以使用前面讲过的crontab -l命令列出它的全部信息 
  
为了删除c r o n t a b文件，可以用： 
$ crontab -r

三，可以利用重定向命令来输出运行结果

> ,>>

四、具体实例

sh脚本文件：test.sh

#! /bin/sh

su - oracle << EOF  

sqlplus test/[email protected]  @"test.sql"

sql脚本文件：test.sql

insert into test_tb values (sysdate);

crontab文件：

0，15，30，45 * * * * /apps/bin/test.sh

===============================================================================================

Linux中，周期执行的任务一般由cron这个守护进程来处理  ps -ef | grep cron 

cron读取一个或多个配置文件，这些配置文件中包含了命令行及其调用时间。

cron的配置文件称为“crontab”，是“cron table”的简写。

一、 cron在3个地方查找配置文件（设置shell脚本）：

1、/var/spool/cron/yanggang 这个目录下存放的是每个用户（包括root）的crontab任务，每个任务以创建者的名字命名，比如用户tom建的crontab任务对应的文件就是/var/spool/cron/tom

 [email protected]$ sudo ls -l /var/spool/cron/（或有时是 /var/spool/cron/crontabs/）
-rw------- 1 root     crontab 1071 2011-09-19 17:20 root
-rw------- 1 yanggang crontab 1176 2011-09-24 11:07 yanggang

一般一个用户最多只有一个crontab文件（如：root, yanggang等），其对应日志在/var/spool/mail/root（或/var/spool/mail/yanggang）文件里

2、/etc/crontab 这个文件负责安排由系统管理员制定的维护系统以及其他任务的crontab。
SHELL=/bin/bash
PATH=/sbin:/bin:/usr/sbin:/usr/bin
MAILTO=root
HOME=/
# .---------------- minute (0 - 59) 
# |  .------------- hour (0 - 23)
# |  |  .---------- day of month (1 - 31)
# |  |  |  .------- month (1 - 12) OR jan,feb,mar,apr ... 
# |  |  |  |  .---- day of week (0 - 6) (Sunday=0 or 7)  OR
#sun,mon,tue,wed,thu,fri,sat 
# |  |  |  |  |
# *  *  *  *  *  command to be executed

例如：

*/5 * * * * root /usr/libexec/atrun

minute：代表一小时内的第几分，范围 0-59。 
hour：代表一天中的第几小时，范围 0-23。 
mday：代表一个月中的第几天，范围 1-31。 
month：代表一年中第几个月，范围 1-12。 
wday：代表星期几，范围 0-7 (0及7都是星期天)。 
who：要使用什么身份执行该指令，当您使用 crontab -e 时，不必加此字段。 
command：所要执行的指令。 

3、/etc/cron.d/ 这个目录用来存放任何要执行的crontab文件或脚本。

二、 权限
crontab权限问题到/var/adm/cron/下一看，文件cron.allow和cron.deny是否存在
用法如下： 
1、如果两个文件都不存在，则只有root用户才能使用crontab命令。 
2、如果cron.allow存在但cron.deny不存在，则只有列在cron.allow文件里的用户才能使用crontab命令，如果root用户也不在里面，则root用户也不能使用crontab。 
3、如果cron.allow不存在, cron.deny存在，则只有列在cron.deny文件里面的用户不能使用crontab命令，其它用户都能使用。 
4、如果两个文件都存在，则列在cron.allow文件中而且没有列在cron.deny中的用户可以使用crontab，如果两个文件中都有同一个用户，
以cron.allow文件里面是否有该用户为准，如果cron.allow中有该用户，则可以使用crontab命令。 


AIX 中 普通用户默认都有 crontab 权限，如果要限制用户使用 crontab ,就需要编辑/var/adm/cron/cron.deny 
HP-UNIX 中默认普通用户没得crontab 权限 ，要想放开普通用户的crontab 权限可以编

三、 创建cron脚本

第一步：写cron脚本文件,命名为crontest.cron。
15,30,45,59 * * * * echo "xgmtest....." >> xgmtest.txt  表示，每隔15分钟，执行打印一次命令 
第二步：添加定时任务。执行命令 “crontab crontest.cron”。搞定 
第三步："crontab -l" 查看定时任务是否成功或者检测/var/spool/cron下是否生成对应cron脚本

四、 cron服务
　　cron是一个linux下 的定时执行工具，可以在无需人工干预的情况下运行作业。
　　/sbin/service crond start    //启动服务
　　/sbin/service crond stop     //关闭服务
　　/sbin/service crond restart  //重启服务
　　/sbin/service crond reload   //重新载入配置
　　/sbin/service crond status   //查看服务状态 

例如： 使用sudo停止与启动服务

[email protected]$sudo service cron stop
cron stop/waiting
[email protected]$ sudo service cron start
cron start/running, process 7502

五、 crontab用法 
crontab命令用于安装、删除或者列出用于驱动cron后台进程的表格，用户把需要执行的命令序列放到crontab文件中以获得执行。
每个用户都可以有自己的crontab文件，/var/spool/cron下的crontab文件不可以直接创建或者直接修改，该crontab文件是通过crontab -e命令创建的

在crontab文件中如何输入需要执行的命令和时间，该文件中每行都包括六个域，其中前五个域是指定命令被执行的时间，最后一个域是要被执行的命令。
    每个域之间使用空格或者制表符分隔。格式如下： 
　　    minute hour day-of-month month-of-year day-of-week commands 
合法值 00-59 00-23 01-31 01-12 0-6 (0 is sunday) 

除了数字还有几个个特殊的符号就是"*"、"/"和"-"、","，*代表所有的取值范围内的数字

"/"代表每的意思,"/5"表示每5个单位，"-"代表从某个数字到某个数字,","分开几个离散的数字。

-l 在标准输出上显示当前的crontab。 

-r 删除当前的crontab文件。 

-e 使用VISUAL或者EDITOR环境变量所指的编辑器编辑当前的crontab文件。

当结束编辑离开时，编辑后的文件将自动安装。 

几个例子： 
每天早上6点 
0 6 * * * echo "Good morning." >> /tmp/test.txt //注意单纯echo，从屏幕上看不到任何输出，因为cron把任何输出都email到root的信箱了。

每两个小时 
0 */2 * * * echo "Have a break now." >> /tmp/test.txt  

晚上11点到早上8点之间每两个小时和早上八点 
0 23-7/2，8 * * * echo "Have a good dream" >> /tmp/test.txt

每个月的4号和每个礼拜的礼拜一到礼拜三的早上11点 
0 11 4 * 1-3 command line

1月1日早上4点 
0 4 1 1 * command line SHELL=/bin/bash PATH=/sbin:/bin:/usr/sbin:/usr/bin MAILTO=root //如果出现错误，或者有数据输出，数据作为邮件发给这个帐号 HOME=/ 

每小时（第一分钟）执行/etc/cron.hourly内的脚本
01 * * * * root run-parts /etc/cron.hourly

每天（凌晨4：02）执行/etc/cron.daily内的脚本

02 4 * * * root run-parts /etc/cron.daily 

每星期（周日凌晨4：22）执行/etc/cron.weekly内的脚本

22 4 * * 0 root run-parts /etc/cron.weekly 

每月（1号凌晨4：42）去执行/etc/cron.monthly内的脚本 

42 4 1 * * root run-parts /etc/cron.monthly 

注意:  "run-parts"这个参数了，如果去掉这个参数的话，后面就可以写要运行的某个脚本名，而不是文件夹名。 　 

每天的下午4点、5点、6点的5 min、15 min、25 min、35 min、45 min、55 min时执行命令。 
5，15，25，35，45，55 16，17，18 * * * command

每周一，三，五的下午3：00系统进入维护状态，重新启动系统。
00 15 * *1，3，5 shutdown -r +5

每小时的10分，40分执行用户目录下的innd/bbslin这个指令： 
10，40 * * * * innd/bbslink 

每小时的1分执行用户目录下的bin/account这个指令： 
1 * * * * bin/account

每天早晨三点二十分执行用户目录下如下所示的两个指令（每个指令以;分隔）： 
203 * * * （/bin/rm -f expire.ls logins.bad;bin/expire$#@62;expire.1st）　　

每年的一月和四月，4号到9号的3点12分和3点55分执行/bin/rm -f expire.1st这个指令，并把结果添加在mm.txt这个文件之后（mm.txt文件位于用户自己的目录位置）。 

12,553 4-91,4 * /bin/rm -f expire.1st$#@62;$#@62;mm.txt 

六、几个问题

crond 进程没有运行

1. 启动crond进程

/etc/init.d/crond start

2. 开机自启动crond进程

chkconfig crond on

crontab 编辑：
输入编辑命令： crontab -e

# m h  dom mon dow   command
SHELL=/bin/bash
30 * * * * cd /home/barry/top800/top10/top10_fruits/ && ./top10_all.sh

Ctrl + O （写入）——》enter键（保存文件名）——》Ctrl + X（退出） 

输入查看命令： crontab -l

# m h  dom mon dow   command
SHELL=/bin/bash
30 * * * * cd /home/barry/top800/top10/top10_fruits/ && ./top10_all.sh（建议使用此方式）

语法错误：

<code style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; font-family: Consolas, Menlo, Monaco, ‘Lucida Console‘, ‘Liberation Mono‘, ‘DejaVu Sans Mono‘, ‘Bitstream Vera Sans Mono‘, ‘Courier New‘, monospace, serif;"><span class="typ" style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: rgb(102, 0, 102);">Syntax</span><span class="pln" style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline;"> error</span><span class="pun" style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: rgb(102, 102, 0);">:</span><span class="pln" style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline;"> </span><span class="str" style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline; color: rgb(0, 136, 0);">"("</span><span class="pln" style="margin: 0px; padding: 0px; border: 0px; vertical-align: baseline;"> unexpected  </span></code>

参见： LINUX - BASH Syntax Error

或者，crontab -e 时指定shell解释器（sh）：SHELL=/bin/bash（请参见上面 crontab编辑 示例）

路径错误：

在 /var/spool/crontab/yanggang 中，添加了如下命令，在日志文件 /var/spool/mail/yanggang 中提示找不到 xxx.sh 路径

30 * * * *  /home/barry/top800/top10/top10_fruits/top10_all.sh

或

30 * * * * bash /home/barry/top800/top10/top10_fruits/top10_all.sh

这是因为你在crontab中使用了绝对路径执行脚本 top10_all.sh，因此在脚本 top10_all.sh 中引用的其它脚本也都需要使用绝对路径，才能被crontab找到并执行

如何避免绝对路径复杂的设置呢，如上文 六、几个问题  所示，采用如下格式：

30 * * * * cd /home/barry/top800/top10/top10_fruits/ && ./top10_all.sh（建议使用此方式，先进入该目录，然后在执行脚本；否则，执行脚本中的其它脚本都需要加绝对路径）

本文出自 “json在php中的使用” 博客，请务必保留此出处http://zhaozhangxiao.blog.51cto.com/10609825/1877051