如何在 Django 和 Celery 中配置多个代理？

Posted 2023-02-24

【中文标题】如何在 Django 和 Celery 中配置多个代理？

【英文标题】：How to configure multiple brokers in Django and Celery?

【发布时间】：2017-03-05 20:14:13

【问题描述】：

要求：Django 使用 RabbitMQ(Internal) 和 SQS/Kafka 这两个任务共享共同的 DB/Django 模型。

截至 2016 年 10 月，Django 设置仅支持一种代理配置

如何使用不同的队列配置和代理设置共享任务？

【问题讨论】：

您能找到解决方案吗？我有一个类似的用例，但我找不到任何具体的解决方案。

设置代理的方法有多种。您是否尝试过拥有 2 个不同的 celery 应用程序？您可以直接在构造函数中传递代理。 IE。 app1 = Celery(broker='amqp://') 和 app2 = Celery(broker='sqs://.....')。最重要的是，我认为您必须使用 shared_task docs.celeryproject.org/en/latest/django/…。我还没有尝试过，但我认为它应该可以工作。

【参考方案1】：

from __future__ import absolute_import
import os
from celery import Celery

# set the default Django settings module for the 'celery' program.
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'backend.settings')

app = Celery('proj', broker=["redis://redis:6379/0", "redis://192.168.99.100:6379/0", "redis://192.168.99.102:6379/0"])

# Using a string here means the worker doesn't have to serialize
# the configuration object to child processes.
# - namespace='CELERY' means all celery-related configuration keys
#   should have a `CELERY_` prefix.
app.config_from_object('django.conf:settings', namespace='CELERY')

# Load task modules from all registered Django app configs.
app.autodiscover_tasks()