python实现定时任务的8种方式详解

Posted IT之一小佬

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了python实现定时任务的8种方式详解相关的知识，希望对你有一定的参考价值。

        在日常工作中，常常会用到需要周期性执行的任务，一种方式是采用 Linux 系统自带的 crond 结合命令行实现。另外一种方式是直接使用Python。        

        当每隔一段时间就要执行一段程序，或者往复循环执行某一个任务，这就需要使用定时任务来执行程序。比如在实现对某个目标进行爬虫的话，需要用到实时任务。

python中常用的定时任务主要有以下8中方法：

  1. while True：+sleep()
  2. threading.Timer定时器
  3. Timeloop库执行定时任务
  4. 调度模块sched
  5. 调度模块schedule
  6. 任务框架APScheduler
  7. 分布式消息系统celery执行定时任务
  8. 使用windows自带的定时任务

接下来分别用上述8中方式来完成下面定义的Task()任务，示例代码如下：

from datetime import datetime


def task():
    now = datetime.now()
    ts = now.strftime("%Y-%m-%d %H:%M:%S")
    print(ts)

1、利用while True：+sleep()实现定时任务

        最简单的方式应该就是使用time模块来实现定时任务，在循环里面放入要执行的任务，然后sleep一段时间再执行。实现令当前执行的线程暂停 n秒后再继续执行。所谓暂停，即令当前线程进入阻塞状态，当达到 sleep() 函数规定的时间后，再由阻塞状态转为就绪状态，等待 CPU 调度。

示例代码：

from datetime import datetime
import time


def task():
    now = datetime.now()
    ts = now.strftime("%Y-%m-%d %H:%M:%S")
    print(ts)


def func():
    while True:
        task()
        time.sleep(3)


func()

运行结果：

优缺点：只能实现同步任务，无法执行异步任务。执行起来虽然是比较简单，但不容易控制，而且sleep是个阻塞函数。只能设定间隔，不能指定具体的时间点。

2、利用threading.Timer()定时器实现定时任务

        timer最基本理解就是定时器，可以启动多个定时任务，这些定时器任务是异步执行，所以不存在等待顺序执行问题。

Timer方法说明
Timer(interval, function, args=None, kwargs=None)创建定时器
cancel()取消定时器
start()使用线程方式执行
join(self, timeout=None)等待线程执行结束

示例代码：

from datetime import datetime
from threading import Timer


def task():
    now = datetime.now()
    ts = now.strftime("%Y-%m-%d %H:%M:%S")
    print(ts)


def func():
    task()
    t = Timer(3, func)
    t.start()


func()

运行结果：

优缺点：可以实现异步任务，是非阻塞的，但当运行次数过多时，会出现报错：Pyinstaller maximum recursion depth exceeded Error Resolution 达到最大递归深度，然后想到的是修改最大递归深度，

sys.setrecursionlimit(100000000)

但是运行到达到最大CPU时，python会直接销毁程序。

关于更多timer用法，详见博文：threading.Timer()定时器实现定时任务_IT之一小佬的博客-CSDN博客

3、使用Timeloop库执行定时任务

        Timeloop是一个库，可用于运行多周期任务。这是一个简单的库，使用decorator模式在线程中运行标记函数。

示例代码：

from datetime import datetime, timedelta
from timeloop import Timeloop

tl = Timeloop()


def task():
    now = datetime.now()
    ts = now.strftime("%Y-%m-%d %H:%M:%S")
    print(ts + '333!')


def task2():
    now = datetime.now()
    ts = now.strftime("%Y-%m-%d %H:%M:%S")
    print(ts + "555555!")


@tl.job(interval=timedelta(seconds=2))
def sample_job_every_2s():
    task()


@tl.job(interval=timedelta(seconds=5))
def sample_job_every_5s():
    task2()

关于更多timeloop用法，详见博文：   python中定时任务timeloop库用法详解_IT之一小佬的博客-CSDN博客

4、利用调度模块sched实现定时任务

        sched是一种调度（延时处理机制）。sched模块实现了一个通用事件调度器，在调度器类使用一个延迟函数等待特定的时间，执行任务。同时支持多线程应用程序，在每个任务执行后会立刻调用延时函数，以确保其他线程也能执行。

scheduler对象主要方法：

  • enter(delay, priority, action, argument)，安排一个事件来延迟delay个时间单位。
  • cancel(event)：从队列中删除事件。如果事件不是当前队列中的事件，则该方法将跑出一个ValueError。
  • run()：运行所有预定的事件。这个函数将等待(使用传递给构造函数的delayfunc()函数)，然后执行事件，直到不再有预定的事件。

示例代码：

import sched
import time
from datetime import datetime

# 初始化sched模块的scheduler类
# 第一个参数是一个可以返回时间戳的函数，第二个参数可以在定时未到达之前阻塞。
schedule = sched.scheduler(time.time, time.sleep)


def task(inc):
    now = datetime.now()
    ts = now.strftime("%Y-%m-%d %H:%M:%S")
    print(ts)
    schedule.enter(inc, 0, task, (inc,))


def func(inc=3):
    # enter四个参数分别为：
    # 间隔事件、优先级（用于同时间到达的两个事件同时执行时定序）、被调用触发的函数、给该触发函数的参数（tuple形式）
    schedule.enter(0, 0, task, (inc,))
    schedule.run()


func()

运行结果：

关于更多sched用法，详见博文：  https://blog.csdn.net/weixin_44799217/article/details/127353545

5、利用调度模块schedule实现定时任务

        schedule是一个第三方轻量级的任务调度模块，可以按照秒，分，小时，日期或者自定义事件执行时间。
        如果想执行多个任务，也可以添加多个task。

示例代码：

import schedule
from datetime import datetime


def task():
    now = datetime.now()
    ts = now.strftime("%Y-%m-%d %H:%M:%S")
    print(ts)


def task2():
    now = datetime.now()
    ts = now.strftime("%Y-%m-%d %H:%M:%S")
    print(ts + '666!')


def func():
    # 清空任务
    schedule.clear()
    # 创建一个按3秒间隔执行任务
    schedule.every(3).seconds.do(task)
    # 创建一个按2秒间隔执行任务
    schedule.every(2).seconds.do(task2)
    while True:
        schedule.run_pending()


func()

运行结果：

优缺点：需要和while Ture配合使用，而且占用的CPU也比其他几种多的多，占用内存也是较大。

关于更多schedule用法，详见博文： https://blog.csdn.net/weixin_44799217/article/details/127352957

6、利用任务框架ASPcheduler实现定时任务

        APScheduler是Python的一个定时任务框架，用于执行周期或者定时任务，该框架不仅可以添加、删除定时任务，还可以将任务存储到数据库中，实现任务的持久化，使用起来非常方便。

示例代码：

from datetime import datetime
from apscheduler.schedulers.blocking import BlockingScheduler


def task():
    now = datetime.now()
    ts = now.strftime("%Y-%m-%d %H:%M:%S")
    print(ts)


def task2():
    now = datetime.now()
    ts = now.strftime("%Y-%m-%d %H:%M:%S")
    print(ts + '666!')


def func():
    # 创建调度器BlockingScheduler()
    scheduler = BlockingScheduler()
    scheduler.add_job(task, 'interval', seconds=3, id='test_job1')
    # 添加任务，时间间隔为5秒
    scheduler.add_job(task2, 'interval', seconds=5, id='test_job2')
    scheduler.start()


func()

运行结果：

关于更多apschedule用法，详见博文：python中定时任务apscheduler库用法详解_IT之一小佬的博客-CSDN博客 

7、使用分布式消息系统celery执行定时任务

        Celery是一个简单，灵活，可靠的分布式系统，用于处理大量消息，同时为操作提供维护此类系统所需的工具, 也可用于任务调度。Celery 的配置比较麻烦，如果你只是需要一个轻量级的调度工具，Celery 不会是一个好选择。

        Celery 是一个强大的分布式任务队列，它可以让任务的执行完全脱离主程序，甚至可以被分配到其他主机上运行。我们通常使用它来实现异步任务（async task）和定时任务（crontab）。 异步任务比如是发送邮件、或者文件上传, 图像处理等等一些比较耗时的操作 ，定时任务是需要在特定时间执行的任务。

注意：celery本身并不具备任务的存储功能，在调度任务的时候肯定是要把任务存起来的，因此在使用celery的时候还需要搭配一些具备存储、访问功能的工具，比如：消息队列、Redis缓存、数据库等。官方推荐的是消息队列RabbitMQ，有些时候使用Redis也是不错的选择。

8、使用windows自带的定时任务

        略。这儿不做细述！

详解PHP实现定时任务的五种方法

定时运行任务对于一个网站来说，是一个比较重要的任务，比如定时发布文档，定时清理垃圾信息等，现在的网站大多数都是采用PHP动态语言开发的，而对于PHP的实现决定了它没有Java和.Net这种AppServer的概念，而http协议是一个无状态的协议，PHP只能被用户触发，被调用，调用后会自动退出内存，没有常驻内存。

如果非要PHP去实现定时任务， 可以有以下几种解决方案：

一. 简单直接不顾后果型

?
1
2
3
4
5
6
7
8
9
10
<?php
ignore_user_abort();//关掉浏览器，PHP脚本也可以继续执行.
set_time_limit(0);// 通过set_time_limit(0)可以让程序无限制的执行下去
ini_set(‘memory_limit‘,‘512M‘); // 设置内存限制
$interval=60*30;// 每隔半小时运行
do{
  //ToDo
  sleep($interval);// 等待5分钟
}
while(true);

缺点: 启动之后，便无法控制, 除非终止 PHP 宿主. 不要采用这样方法, 除非你是黑客.

二. 简单可控型

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
config.php
 
<?php
return 1;
?>
cron.php
 
 
   
ignore_user_abort();//关掉浏览器，PHP脚本也可以继续执行.
set_time_limit(0);// 通过set_time_limit(0)可以让程序无限制的执行下去
$interval=60*30;// 每隔半小时运行
do{
  $run = include ‘config.php‘;
  if(!$run) die(‘process abort‘);
   
  //ToDo
  sleep($interval);// 等待5分钟
}
while(true);

通过 改变config.php 的 return 0 , 来实现停止程序. 一个可行的办法是config.php文件和某个特殊表单交互, 通过HTML页面设置一些变量来进行配置

缺点: 占系统资源, 长时间运行，会有一些意想不到的隐患。比如内存管理方面的问题 .

三. 简单改进型

?
1
2
3
4
5
6
7
8
9
<?php
$time=15;
$url="http://".$_SERVER[‘HTTP_HOST‘].$_SERVER[‘REQUEST_URI‘];
/*
  function
*/
sleep($time);
file_get_contents($url);
?>

php脚本sleep 一段时间之后通过访问自身的方式继续执行. 就好像接力赛跑一样..这样就能保证每个PHP脚本执行时间不会太长. 也就不受time_out的限制了.

因为每一次一次循环php文件都是独立执行,所以这种方法,避免了time_out的限制. 但是最好和上边一样 加上控制代码. cofig.php , 以便能够终止进程.

四. 服务器定时任务

Unix平台

如果您使用 Unix 系统，您需要在您的 PHP 脚本的最前面加上一行特殊的代码，使得它能够被执行，这样系统就能知道用什么样的程序要运行该脚本。为 Unix 系统增加的第一行代码不会影响该脚本在 Windows 下的运行，因此您也可以用该方法编写跨平台的脚本程序。

1、在Crontab中使用PHP执行脚本

就像在Crontab中调用普通的shell脚本一样（具体Crontab用法），使用PHP程序来调用PHP脚本，每一小时执行 myscript.php 如下：

?
1
2
# crontab -e
00 * * * * /usr/local/bin/php /home/john/myscript.php

/usr/local/bin/php为PHP程序的路径。

2、在Crontab中使用URL执行脚本

如果你的PHP脚本可以通过URL触发，你可以使用 lynx 或 curl 或 wget 来配置你的Crontab。

下面的例子是使用Lynx文本浏览器访问URL来每小时执行PHP脚本。Lynx文本浏览器默认使用对话方式打开URL。但是，像下面的，我们在lynx命令行中使用-dump选项来把URL的输出转换来标准输出。

?
1
00 * * * * lynx -dump http://www.sf.net/myscript.php


下面的例子是使用 CURL 访问URL来每5分执行PHP脚本。Curl默认在标准输出显示输出。使用 "curl -o" 选项，你也可以把脚本的输出转储到临时文件temp.txt。

?
1
*/5 * * * * /usr/bin/curl -o temp.txt http://www.sf.net/myscript.php

下面的例子是使用WGET访问URL来每10分执行PHP脚本。-q 选项表示安静模式。"-O temp.txt" 表示输出会发送到临时文件。

?
1
*/10 * * * * /usr/bin/wget -q -O temp.txt http://www.sf.net/myscript.php

五. ini_set函数用法详解

PHP ini_set用来设置php.ini的值，在函数执行的时候生效，脚本结束后，设置失效。无需打开php.ini文件，就能修改配置，对于虚拟空间来说，很方便。

函数格式：

?
1
string ini_set(string $varname, string $newvalue)

不是所有的参数都可以配置，可以查看手册中的列表。

常见的设置：

?
1
@ ini_set(‘memory_limit‘, ‘64M‘);

menory_limit：设定一个脚本所能够申请到的最大内存字节数，这有利于写的不好的脚本消耗服务器上的可用内存。@符号代表不输出错误。

?
1
@ini_set(‘display_errors‘, 1);

display_errors：设置错误信息的类别。

?
1
@ini_set(‘session.auto_start‘, 0);

session.auto_start：是否自动开session处理，设置为1时，程序中不用session_start()来手动开启session也可使用session，

如果参数为0，又没手动开启session，则会报错。

?
1
@ini_set(‘session.cache_expire‘, 180);

session.cache_expire：指定会话页面在客户端cache中的有限期（分钟）缺省下为180分钟。如果设置了session.cache_limiter=nocache时，此处设置无 效。

?
1
@ini_set(‘session.use_cookies‘, 1);

session.use_cookies：是否使用cookie在客户端保存会话ID；

?
1
@ini_set(‘session.use_trans_sid‘, 0);

session.use_trans_sid：是否使用明码在URL中显示SID（会话ID），

默认是禁止的，因为它会给你用户带来安全危险：

    用户可能将包含有效的sid的URL通过email/irc/QQ/MSN等途径告诉其他人。

    包含有效sid的URL可能会保存在公用电脑上。

    用户可能保存带有固定不变的SID的URL在他们的收藏夹或者浏览历史记录里。 基于URL的会话管理总是比基于Cookie的会话管理有更多的风险，所以应当禁用。

PHP定时任务是一个非常有意思的东西，以上就是本文提供的一些解决方案，你也可以通过本文的思路，开发出自己的一种解决方案。希望能帮助到有需要的大家。

如对本文有疑问，请提交到交流社区，广大热心网友会为你解答！！ 点击进入社区

您可能感兴趣的文章:

 
from:http://www.jb51.net/article/89186.htm

以上是关于python实现定时任务的8种方式详解的主要内容，如果未能解决你的问题，请参考以下文章

Python 实现定时任务的八种方案

Python 实现定时任务的八种方案

Python 实现定时任务的八种方案

Python3.x：定时任务实现方式

Python 实现定时任务的八种方案！

5种Python使用定时调度任务的方式