Celery 使用简介

Posted 2020-07-28 网名还没想好

转自：http://liuzxc.github.io/blog/celery/

Celery 是一个简单、灵活且可靠的，处理大量消息的分布式系统，它是一个专注于实时处理的任务队列， 同时也支持任务调度。Celery 中有两个比较关键的概念：

1. Worker: worker 是一个独立的进程，它持续监视队列中是否有需要处理的任务；
2. Broker: broker 也被称为中间人或者协调者，broker 负责协调客户端和 worker 的沟通。客户端向 队列添加消息，broker 负责把消息派发给 worker。

安装 Celery

直接使用 python 工具 pip 或者 easy_install 来安装:

$ pip install celery

安装 Broker

celery 支持多种 broker, 但主要以 RabbitMQ 和 Redis 为主，其他都是试验性的，虽然也可以使用， 但是没有专门的维护者。在 RabbitMQ 和 Redis之间，我们该如何选择呢？

RabbitMQ is feature-complete, stable, durable and easy to install. It’s an excellent choice for a production environment.

Redis is also feature-complete, but is more susceptible to data loss in the event of abrupt termination or power failures.

celery 官方明确表示推荐在生产环境下使用 RabbitMQ，Redis 存在丢数据的问题。所以如果你的业务可以容忍 worker crash 或者电源故障导致的任务丢失，采用 redis 是个不错的选择，本篇就以 redis 为例来介绍。

celery 对于 redis 的支持需要安装相关的依赖，以下命令可以同时安装 celery 和 redis 相关的依赖，但是 redis server 还是必须单独安装的。

$ pip install -U celery[redis] # -U 的意思是把所有指定的包都升级到最新的版本

Celery 的配置和使用

Celery 本身的配置项是很多的，但是如果要让它跑起来，你只需要加一行配置：

BROKER_URL = ‘redis://localhost:6379//‘

这一行就是告诉 celery broker 的地址和选择的 redis db，默认是 0。接下来用个很简单的例子来介绍 celery 是如何使用的：

# task.py
from celery import Celery

app = Celery(‘tasks‘, broker=‘redis://localhost//‘)

@app.task()
def add(x, y):
   return x + y

我们创建了一个 celery 的实例 app，可以通过它来创建任务和管理 workers。在上面的例子中，我们创建了一个 简单的任务 task， 它返回了两个数相加后的结果。

接下来运行 celery worker，通过它来监听是否有任务要处理。

$ celery -A task worker

通过 celery worker –help 查看更多参数选项

然后我们再打开一个 shell 窗口，进入 python 控制台去调用 add 任务：

>>> from task import add
>>> add.delay(1, 2)
<AsyncResult: 42ade14e-c7ed-4b8d-894c-1ca1ec7ca192>

delay 是 apply_async 的简写，用于一个任务消息（task message）。我们发现 add 任务并没有返回 3，而是 一个对象 AsyncResult，它的作用是被用来检查任务状态，等待任务执行完毕或获取任务结果，如果任务失败，它会返回 异常信息或者调用栈。

我们先尝试获取任务的执行结果：

>>> result = add.delay(1, 2)
>>> result.get()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/local/lib/python2.7/dist-packages/celery/result.py", line 169, in get
    no_ack=no_ack,
  File "/usr/local/lib/python2.7/dist-packages/celery/backends/base.py", line 604, in _is_disabled
    ‘No result backend configured.  ‘
NotImplementedError: No result backend configured.  Please see the documentation for more information.

报错了: No result backend configured. 错误信息告诉我们没有配置 result backend。因为 celery 会将任务的 状态或结果保存在 result backend，result backend 的选择也有很多，本例中我们依然选用 redis 作为 result backend。

celery task result backend

我们修改 task.py 的代码，添加上 result backend 的设置，保存后重启 celery worker。

# task.py
...
app = Celery(‘tasks‘, backend=‘redis://localhost‘, broker=‘redis://localhost//‘)
...

然后重新调用 add task，看看我们是否获取到了执行结果？

>>> from task import add
>>> result = add.delay(1,2)
>>> result.get()
3

我们正确的获得到了结果！怎么样， celery 的使用是不是很简单呢？

Celery Flower

flower 是一个 celery 的监控工具，它提供了一个图形用户界面，可以极大的方便我们监控任务的执行过程， 执行细节及历史记录，还提供了统计功能。

flower 安装

$ pip install flower

or:

$ easy_install flower

flower 使用简介

首先启动通过命令行启动 flower 进程:

$ flower -A proj --port=5555

然后打开浏览器 http://localhost:5555/

Celery 任务类型

apply_async

调用一个异步任务，这也是最常用的任务类型之一，delay 与它的作用相同，只是 delay 不支持 apply_async 中额外的参数。该方法有几个比较重要的参数，在实际应用中会经常用到：

1. countdown： 任务延迟执行的秒数，默认立即执行；
2. eta：任务被执行的绝对时间

crontab

celery 同样也支持定时任务：

from celery.schedules import crontab

CELERYBEAT_SCHEDULE = {
    # Executes every Monday morning at 7:30 A.M
    ‘add-every-monday-morning‘: {
        ‘task‘: ‘tasks.add‘,
        ‘schedule‘: crontab(hour=7, minute=30, day_of_week=1),
        ‘args‘: (16, 16),
    },
}

crontab-schedules

要启动定时任务，需要启动一个心跳进程：

$ celery -A proj beat