nginx 502 阻碍 eb Worker 和 SQS 导致可见性超时不被尊重

Posted 2023-03-04

【中文标题】nginx 502 阻碍 eb Worker 和 SQS 导致可见性超时不被尊重

【英文标题】：nginx 502 hindering eb Worker and SQS causing Visibility Timeout to not be respected

【发布时间】：2015-07-30 12:07:31

【问题描述】：

我的症状与https://forums.aws.amazon.com/message.jspa?messageID=580990#580990 相同，但在 EB Docker Preconfigured Python 上（即不遵守可见性超时）。首先，我的队列可见性超时（在 eb 和 sqs 中配置）是 1800 秒。

我在 60 秒后收到 502，因为我的消息需要超过 60 秒才能处理（并且在 60 秒后，队列当然会尝试重试消息，因为它收到了 502）。我尝试了 .ebextensions proxy.conf 解决方案（ecd_bm 在链接中提到）无济于事。

我的 /var/log/nginx/access.log 给出：

127.0.0.1 - - [18/May/2015:08:56:58 +0000] "POST /scrape-emails HTTP/1.1" 502 172 "-" "aws-sqsd/2.0"

我的 nginx /var/log/nginx/error.log 给出：

2015/05/18 08:56:58 [error] 12465#0: *32 upstream prematurely closed connection while reading response header from upstream, client: 127.0.0.1, server: , request: "POST /scrape-emails HTTP/1.1", upstream: "http://172.17.0.4:8080/scrape-emails", host: "localhost"

我的 /var/log/aws-sqsd/default.log 给出：

2015-05-18T08:56:58Z http-err: 8240b585-61c3-4fba-b99a-265ace312308 (1) 502 - 60.050

首先，我的 /etc/nginx/nginx.conf 看起来像：

# Elastic Beanstalk Nginx Configuration File

user  nginx;
worker_processes  1;

error_log  /var/log/nginx/error.log;

pid        /var/run/nginx.pid;

events 
    worker_connections  1024;


http 
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    access_log    /var/log/nginx/access.log;

    include       /etc/nginx/conf.d/*.conf;
    include       /etc/nginx/sites-enabled/*;

我曾经在 60 年代后收到 504，但将以下内容添加到 /etc/nginx/sites-enabled/elasticbeanstalk-nginx-docker-proxy.conf（包含在 /etc/nginx/nginx.conf 中）摆脱了它们（但它们已被 502 替换）：

map $http_upgrade $connection_upgrade 
    default     "upgrade";
    ""          "";


server 
    listen 80;

    location / 
        proxy_pass          http://docker;
        proxy_http_version  1.1;

        proxy_set_header    Connection      $connection_upgrade;
        proxy_set_header    Upgrade     $http_upgrade;
        proxy_set_header    Host            $host;
        proxy_set_header    X-Real-IP       $remote_addr;
        proxy_set_header    X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_buffers 8 16k;
        proxy_buffer_size 32k;
        proxy_connect_timeout 1800s;
        proxy_send_timeout 1800s;
        proxy_read_timeout 1800s;

    

我已经将默认为 60 到 1800 的每个参数都设置了 -- http://nginx.org/en/docs/http/ngx_http_proxy_module.html#proxy_buffers

我注意到 uwsgi 日志说： 你对工人优雅操作的怜悯是 60 秒 这可能是问题吗？ -- 如果是这样，我该如何解决？如果不是，我该如何停止 502s。

另外，我已将以下内容添加到 /etc/nginx/uwsgi_params 无济于事：

uwsgi_read_timeout 1800s;
uwsgi_send_timeout 1800s;
uwsgi_connect_timeout 1800s;

编辑 nginx 配置文件（使用 ssh）后，我总是会在 eb Web 界面中“重新启动 App Servers”，然后进行测试。

关于如何摆脱 502 并在处理消息时尊重可见性超时的任何想法？

【问题讨论】：

你在你的uwsgi文件中设置了harakiri吗？您是否尝试设置限制发布？可能 client_max_body_size 也可能有所帮助。我之前也遇到过类似的问题，真的很难弄清楚......

您找到解决方案了吗？我有完全相同的问题。

也很想看到这个问题的答案。似乎应该可以根据环境的可见性超时设置 nginx，并使用适当制作的 ebextension。

【参考方案1】：

这是我目前为止所做的。不知道这是否是访问队列可见性超时的“安全”方式，但它现在似乎在我的 ruby​​ 工作环境中起到了作用：

packages:
  yum:
    jq: []

commands:
  match_nginx_timeout_to_sqs_timeout:
    command: |
      VISIBILITY_TIMEOUT=$(
        /opt/aws/bin/cfn-get-metadata --region `"Ref": "AWS::Region"` --stack `"Ref": "AWS::StackName"` \
          --resource AWSEBBeanstalkMetadata --key AWS::ElasticBeanstalk::Ext |
          jq -r '.Parameters.AWSEBVisibilityTimeout'
      )
      if [[ -n "$VISIBILITY_TIMEOUT" ]]; then
        echo "proxy_read_timeout $VISIBILITY_TIMEOUTs;" > /etc/nginx/conf.d/worker.conf
        service nginx restart
      fi

我实际上对这些数据进行了二次使用，因此最终也将其拆分为 properties-cache 文件。详情请见https://github.com/Safecast/ingest/pull/43/files。

我的印象是从 beanstalk UI 更新可见性超时不会更新这个值，直到下一次部署，但我可以接受这种情况，因为它不会经常改变环境。