实战学习开源项目学习之Celery

Posted 2021-05-16 黑黑白白君

文章目录

• 1）Celery是什么？
• • 架构组成：
  • • 1.1 任务模块 Task
    • 1.2 消息中间件 Broker
    • 1.3 任务执行单元 Worker
    • 1.4 任务结果存储 Backend
• 2）使用 Celery 实现异步任务

---

涉及开源项目（dailyfresh-B2C）的部署架构如下：

---

1）Celery是什么？

Celery 是一个强大的分布式任务队列，它可以让任务的执行完全脱离主程序，甚至可以被分配到其他主机上运行。通常使用它来实现异步任务（async task）和定时任务（crontab）。

架构组成：

可以看到，Celery 主要包含以下几个模块：

1.1 任务模块 Task

包含异步任务和定时任务。其中，异步任务通常在业务逻辑中被触发，并发往任务队列，而定时任务由 Celery Beat 进程周期性地将任务发往任务队列。

1.2 消息中间件 Broker

Broker，即为任务调度队列，接收任务生产者发来的消息（即任务），将任务存入队列。Celery 本身不提供队列服务，官方推荐使用 RabbitMQ 和 Redis 等。

1.3 任务执行单元 Worker

Worker 是执行任务的处理单元，它实时监控消息队列，获取队列中调度的任务，并执行它。

1.4 任务结果存储 Backend

Backend 用于存储任务的执行结果，以供查询。同消息中间件一样，存储也可使用 RabbitMQ, Redis 和 MongoDB 等。

2）使用 Celery 实现异步任务

使用 Celery 实现异步任务主要包含三个步骤：

• 创建一个 Celery 实例
• 启动 Celery Worker
• 应用程序调用异步任务

如使用做redis作为消息中间件，需要安装redis。

---

【部分内容参考自】

• Django+Django-Celery+Celery的整合实战：https://blog.csdn.net/bbwangj/article/details/89312355