在 ECS 任务上运行 celery worker 并使用 SQS 作为代理

Posted 2023-02-24

【中文标题】在 ECS 任务上运行 celery worker 并使用 SQS 作为代理

【英文标题】：Running celery worker on ECS Task and using SQS as a broker

【发布时间】：2022-01-17 18:55:36

【问题描述】：

我正在构建一个 Web 应用程序，它需要一些长时间运行的任务才能在 AWS ECS 上使用 celery 作为分布式任务队列。我面临的问题是，我在 ECS 上运行的 celery worker 没有从 SQS 接收任务，即使它似乎已连接到它。

以下是 ECS 任务的日志。

/usr/local/lib/python3.8/site-packages/celery/platforms.py:797: RuntimeWarning: You're running the worker with superuser privileges: this is
absolutely not recommended!
Please specify a different user using the --uid option.
User information: uid=0 euid=0 gid=0 egid=0
  warnings.warn(RuntimeWarning(ROOT_DISCOURAGED.format(
 
 -------------- [e-mail] v5.0.1 (singularity)
--- ***** ----- 
-- ******* ---- Linux-4.14.252-195.483.amzn2.x86_64-x86_64-with-glibc2.2.5 2021-12-14 06:39:58
- *** --- * --- 
- ** ---------- [config]
- ** ---------- .> app:         emptive_portal:0x7fbfda752310
- ** ---------- .> transport:   sqs://XXXXXXXXXXXXXXXX:**@localhost//
- ** ---------- .> results:     disabled://
- *** --- * --- .> concurrency: 2 (prefork)
-- ******* ---- .> task events: OFF (enable -E to monitor tasks in this worker)
--- ***** ----- 
 -------------- [queues]
                .> emptive-celery2.fifo exchange=sync(direct) key=emptive-celery.fifo
                
[tasks]
 
  . import_export_celery.tasks.run_export_job
  . import_export_celery.tasks.run_import_job
[Errno 2] No such file or directory: 'seq_tokens/emptive-staging_web_sequence_token.txt'
[Errno 2] No such file or directory: 'seq_tokens/emptive-staging_web_sequence_token.txt'
2021-12-14 06:39:58 [INFO] Connected to sqs://XXXXXXXXXXXXXXXXX:**@localhost//
[Errno 2] No such file or directory: 'seq_tokens/emptive-staging_web_sequence_token.txt'
[Errno 2] No such file or directory: 'seq_tokens/emptive-staging_web_sequence_token.txt'
2021-12-14 06:39:58 [INFO] [e-mail] ready.

需要注意的是，我已经在本地与 django 网络服务器所在的同一台机器上运行了同一个容器，该容器已部署到 ECS，正在发送任务。那个芹菜工人在接收任务时没有任何问题。

我也尝试过授予 ecsTaskExecutionRole 对 SQS 的完全权限，但这似乎没有任何影响。任何帮助将不胜感激。

编辑：忘记在 django settings.py 中显示我的 celery 代理配置

AWS_ACCESS_KEY_ID = os.environ.get('AWS_ACCESS_KEY_ID')
    AWS_SECRET_ACCESS_KEY = os.environ.get('AWS_SECRET_ACCESS_KEY')
    # SQS CONFIG
    CELERY_BROKER_URL = "sqs://%s:%s@" % (AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY)
    CELERY_ACCEPT_CONTENT = ['application/json']
    CELERY_RESULT_SERIALIZER = 'json'
    CELERY_TASK_SERIALIZER = 'json'
    BROKER_TRANSPORT_OPTIONS = 
        'region': 'us-east-2',
        'polling_interval': 20,
    
    CELERY_RESULT_BACKEND = None
    CELERY_ENABLE_REMOTE_CONTROL = False
    CELERY_SEND_EVENTS = False

【问题讨论】：

我不熟悉您所描述的模式，但我会提到，如果您需要为 ECS 容器分配角色以访问 SQS 队列，则该角色必须定义为 taskRoleArn 为描述了here（任务执行角色仅用于底层基础设施，以便能够从 ECR 等中提取图像，而不是为应用程序提供信用）。

【参考方案1】：

所以我终于解决了这个问题。这个问题对我来说真的很愚蠢。 :) 我只需要在 celery 配置中将 BROKER_TRANSPORT_OPTIONS 替换为 CELERY_BROKER_TRANSPORT_OPTIONS。

新配置：

AWS_ACCESS_KEY_ID = os.environ.get('AWS_ACCESS_KEY_ID')
    AWS_SECRET_ACCESS_KEY = os.environ.get('AWS_SECRET_ACCESS_KEY')
    # SQS CONFIG
    CELERY_BROKER_URL = "sqs://%s:%s@" % (AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY)
    CELERY_ACCEPT_CONTENT = ['application/json']
    CELERY_RESULT_SERIALIZER = 'json'
    CELERY_TASK_SERIALIZER = 'json'
    CELERY_BROKER_TRANSPORT_OPTIONS = 
        'region': 'us-east-2',
        'polling_interval': 20,
    
    CELERY_RESULT_BACKEND = None
    CELERY_ENABLE_REMOTE_CONTROL = False
    CELERY_SEND_EVENTS = False