DNS 和 nginx 服务器设置导致服务器缓慢和 502 响应
Posted
技术标签:
【中文标题】DNS 和 nginx 服务器设置导致服务器缓慢和 502 响应【英文标题】：DNS and nginx server setup causes slow server and 502 response 【发布时间】：2019-02-03 01:21:07 【问题描述】：我正在使用 Ubuntu 18.04.1 nginx 1.14.0 和 php 7.2.7 设置一个新服务器 一切正常，除了一个测试页面，我在其中设置了许多指向丢失图像的断开链接。 编辑：根据本次讨论的结论，我决定询问a new question，可能存在 DNS 配置错误。
服务器似乎需要很长时间才能意识到它们丢失并响应 http 请求。一些丢失的文件给出 404 的 HTTP 状态，而一些给出 502。是什么导致这些延迟和 502 错误？是不是我在nginx或者php配置中做错了什么？
在我的旧服务器上，我有完全相同的页面，加载速度非常快。我想解决的服务器设置必须存在差异。
编辑：服务器无法识别作为 server1.eu 的 IPv6 地址，但访问 IPv4 地址会立即显示 https://server1.eu
区域文件记录：
AAAA server1.eu directs to the IPv6 address
A server1.eu directs to the IPv4 address
Dayo 建议主机文件可能有问题，但是如果主机文件全部清空，问题仍然存在。内容如下：
127.0.0.1 localhost
::1 localhost
(the IPv6 address) localhost
127.0.1.1 host.server1.eu
# The following lines are desirable for IPv6 capable hosts
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
ff02::3 ip6-allhosts
nginx 服务器配置，当我删除“listen [::]:443 ssl http2;”行时一切正常：
server
listen 443 ssl http2;
listen [::]:443 ssl http2;
ssl_certificate /etc/letsencrypt/live/server1.eu/fullchain.pem;
ssl_certificate_key /etc/letsencrypt/live/server1.eu/privkey.pem;
include snippets/ssl-params.conf;
server_name server1.eu;
root /var/www/server1/webroot;
index index.php index.html index.htm ;
location /
try_files $uri $uri/ /index.php?$args;
location ~ \.php$
include fastcgi.conf;
fastcgi_pass unix:/run/php/php7.2-fpm.sock;
nginx.conf
user www-data;
worker_processes auto;
pid /run/nginx.pid;
include /etc/nginx/modules-enabled/*.conf;
events
worker_connections 2048;
multi_accept on;
http
##
# Basic Settings
##
sendfile on;
tcp_nopush on;
tcp_nodelay on;
# keepalive_timeout 65;
types_hash_max_size 2048;
# server_tokens off;
# server_names_hash_bucket_size 64;
# server_name_in_redirect off;
include /etc/nginx/mime.types;
default_type application/octet-stream;
##
# SSL Settings
##
ssl_protocols TLSv1 TLSv1.1 TLSv1.2; # Dropping SSLv3, ref: POODLE
ssl_prefer_server_ciphers on;
##
# Logging Settings
##
access_log /var/log/nginx/access.log;
error_log /var/log/nginx/error.log;
##
# Gzip Settings
##
gzip on;
gzip_comp_level 2;
gzip_min_length 1000;
gzip_proxied expired no-cache no-store private auth;
gzip_types text/plain text/css application/json application/javascript text/xml application/xml application/xml+rss text/javascript;
##
# Virtual Host Configs
##
include /etc/nginx/conf.d/*.conf;
include /etc/nginx/sites-enabled/*;
client_body_buffer_size 10K;
client_header_buffer_size 1k;
client_max_body_size 100m;
large_client_header_buffers 4 8k;
fastcgi_buffers 16 16k;
fastcgi_buffer_size 32k;
fastcgi_read_timeout 500; #gateway probleem
client_body_timeout 12;
client_header_timeout 12;
keepalive_timeout 25;
send_timeout 10;
我使用的 php 应用是 Joomla 3.8.11，带有自定义脚本来显示自定义错误页面：
header("HTTP/1.0 404 Not Found");
echo file_get_contents('https://server1.eu/404-page-not-found');
exit;
删除 file_get_contents 后不再出现错误。但是我想知道为什么，因为它曾经在我的旧服务器上运行良好（参见上面关于 DNS 的编辑）。我还需要这个脚本来正确显示 HTTP 状态 404 和自定义错误页面，而无需更改地址栏。
nginx error.log 的一部分：
2018/08/30 16:25:27 [error] 29228#29228: *76 recv() failed (104: Connection reset by peer) while reading response header from upstream, client: 2a02:a440:91e3:1:4481:654b:a3e8:9617, server: server1.eu, request: "GET /images/klanten1/JHoogeveen.gif HTTP/2.0", upstream: "fastcgi://unix:/run/php/php7.2-fpm.sock:", host: "server1.eu", referrer: "https://server1.eu/portfolio-2"
来自 php7.2-fpm.log 的消息（有很多类似的行）
[30-Aug-2018 16:16:08] WARNING: [pool www] server reached pm.max_children setting (15), consider raising it
[30-Aug-2018 16:16:27] WARNING: [pool www] child 29026, script '/var/www/server1/webroot/index.php' (request: "GET /index.php") execution timed out (22.937711 sec), terminating
[30-Aug-2018 16:16:27] WARNING: [pool www] child 29245 exited on signal 15 (SIGTERM) after 20.490546 seconds from start
[30-Aug-2018 16:16:27] NOTICE: [pool www] child 29263 started
下面是HTTP请求和回复的时间线，显示了对不存在文件的请求和服务器的响应，有些给出404很好，有些给出502坏网关（在我的旧服务器上它们都是404)。 编辑：有 15 个 502 响应，这是 Miknik 在他的回答中所说的最大并发 PHP 进程数。
GET https://server1.eu/portfolio-2 [HTTP/2.0 200 OK 132ms]
GET https://server1.eu/templates/purity_iii/css/bootstrap.css [HTTP/2.0 200 OK 40ms]
GET https://server1.eu/templates/system/css/system.css [HTTP/2.0 200 OK 50ms]
GET https://server1.eu/templates/purity_iii/css/template.css [HTTP/2.0 200 OK 50ms]
GET https://server1.eu/templates/purity_iii/fonts/font-awesome/css/font-awesome.min.css [HTTP/2.0 200 OK 50ms]
GET https://server1.eu/templates/purity_iii/css/layouts/corporate.css [HTTP/2.0 200 OK 50ms]
GET https://server1.eu/media/jui/js/jquery.min.js?48b6d1b3850bca834b403c58682b4579 [HTTP/2.0 200 OK 60ms]
GET https://server1.eu/media/jui/js/jquery-noconflict.js?48b6d1b3850bca834b403c58682b4579 [HTTP/2.0 200 OK 60ms]
GET https://server1.eu/media/jui/js/jquery-migrate.min.js?48b6d1b3850bca834b403c58682b4579 [HTTP/2.0 200 OK 60ms]
GET https://server1.eu/media/system/js/caption.js?48b6d1b3850bca834b403c58682b4579 [HTTP/2.0 200 OK 70ms]
GET https://server1.eu/plugins/system/t3/base-bs3/bootstrap/js/bootstrap.js? 8b6d1b3850bca834b403c58682b4579 [HTTP/2.0 200 OK 80ms]
GET https://server1.eu/plugins/system/t3/base-bs3/js/jquery.tap.min.js [HTTP/2.0 200 OK 80ms]
GET https://server1.eu/plugins/system/t3/base-bs3/js/script.js [HTTP/2.0 200 OK 70ms]
GET https://server1.eu/plugins/system/t3/base-bs3/js/menu.js [HTTP/2.0 200 OK 70ms]
GET https://server1.eu/templates/purity_iii/js/script.js [HTTP/2.0 200 OK 70ms]
GET https://server1.eu/plugins/system/t3/base-bs3/js/nav-collapse.js [HTTP/2.0 200 OK 70ms]
GET https://server1.eu/templates/purity_iii/css/custom-vuyk.css [HTTP/2.0 200 OK 70ms]
GET https://server1.eu/images/klanten1/schipper2.gif [HTTP/2.0 502 Bad Gateway 23988ms]
GET https://server1.eu/images/klanten1/Kuiper.gif [HTTP/2.0 502 Bad Gateway 24038ms]
GET https://server1.eu/images/klanten1/WindMatch.gif [HTTP/2.0 502 Bad Gateway 24008ms]
GET https://server1.eu/images/klanten1/Tuinland.gif [HTTP/2.0 502 Bad Gateway 24018ms]
GET https://server1.eu/images/klanten1/Wezenberg.gif [HTTP/2.0 502 Bad Gateway 24038ms]
GET https://server1.eu/images/klanten1/Morgenster.gif [HTTP/2.0 502 Bad Gateway 23998ms]
GET https://server1.eu/images/klanten1/Harrie-boerhof.gif [HTTP/2.0 502 Bad Gateway 24028ms]
GET https://server1.eu/images/klanten1/Lococensus.gif [HTTP/2.0 502 Bad Gateway 23998ms]
GET https://server1.eu/images/klanten1/JHoogeveen.gif [HTTP/2.0 502 Bad Gateway 23978ms]
GET https://server1.eu/images/klanten1/DeDeur.gif [HTTP/2.0 502 Bad Gateway 23988ms]
GET https://server1.eu/images/klanten1/Runhaar.gif [HTTP/2.0 502 Bad Gateway 23958ms]
GET https://server1.eu/images/klanten1/Schunselaar-schildersbedrijf.gif [HTTP/2.0 502 Bad Gateway 23948ms]
GET https://server1.eu/images/klanten1/Capelle.gif [HTTP/2.0 502 Bad Gateway 23958ms]
GET https://server1.eu/images/klanten1/Distantlake.gif [HTTP/2.0 502 Bad Gateway 24038ms]
GET https://server1.eu/images/klanten1/Eikenaar.gif [HTTP/2.0 502 Bad Gateway 24018ms]
GET https://server1.eu/images/klanten1/FFWD.gif [HTTP/2.0 404 Not Found 26274ms]
GET https://server1.eu/images/klanten1/Veltec.gif [HTTP/2.0 404 Not Found 26791ms]
GET https://server1.eu/images/klanten1/Heutink.gif [HTTP/2.0 404 Not Found 26811ms]
GET https://server1.eu/images/klanten1/Lindeboom.gif [HTTP/2.0 404 Not Found 26777ms]
GET https://server1.eu/images/klanten1/aataxi.gif [HTTP/2.0 404 Not Found 26828ms]
GET https://server1.eu/images/klanten1/Aewind.gif [HTTP/2.0 404 Not Found 26811ms]
GET https://server1.eu/images/klanten1/Praatmaatgroep.gif [HTTP/2.0 404 Not Found 26800ms]
GET https://server1.eu/media/system/css/system.css [HTTP/2.0 200 OK 20ms]
JQMIGRATE: Migrate is installed, version 1.4.1 jquery-migrate.min.js:2:542
GET https://server1.eu/images/logo.gif [HTTP/2.0 200 OK 20ms]
GET https://server1.eu/images/reclame-en-communicatie.gif [HTTP/2.0 200 OK 20ms]
GET https://server1.eu/fonts/opensans-regular-webfont.woff [HTTP/2.0 200 OK 40ms]
GET https://server1.eu/templates/purity_iii/fonts/font-awesome/fonts/fontawesome-webfont.woff2?v=4.7.0 [HTTP/2.0 200 OK 70ms]
fastcgi.conf
fastcgi_param PATH_TRANSLATED $document_root$fastcgi_path_info;
fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
fastcgi_param PATH_INFO $fastcgi_path_info;
fastcgi_param QUERY_STRING $query_string;
fastcgi_param REQUEST_METHOD $request_method;
fastcgi_param CONTENT_TYPE $content_type;
fastcgi_param CONTENT_LENGTH $content_length;
fastcgi_param SCRIPT_NAME $fastcgi_script_name;
fastcgi_param REQUEST_URI $request_uri;
fastcgi_param DOCUMENT_URI $document_uri;
fastcgi_param DOCUMENT_ROOT $document_root;
fastcgi_param SERVER_PROTOCOL $server_protocol;
fastcgi_param REQUEST_SCHEME $scheme;
fastcgi_param HTTPS $https if_not_empty;
fastcgi_param GATEWAY_INTERFACE CGI/1.1;
fastcgi_param SERVER_SOFTWARE nginx/$nginx_version;
fastcgi_param REMOTE_ADDR $remote_addr;
fastcgi_param REMOTE_PORT $remote_port;
fastcgi_param SERVER_ADDR $server_addr;
fastcgi_param SERVER_PORT $server_port;
fastcgi_param SERVER_NAME $server_name;
# PHP only, required if PHP was built with --enable-force-cgi-redirect
fastcgi_param REDIRECT_STATUS 200;
php.ini
[PHP]
engine = On
short_open_tag = Off
precision = 14
output_buffering = 4096
zlib.output_compression = Off
implicit_flush = Off
unserialize_callback_func =
serialize_precision = -1
disable_functions = pcntl_alarm,pcntl_fork,pcntl_waitpid,pcntl_wait,pcntl_wifexited,pcntl_wifstopped,pcntl_wifsignaled,pcntl_wifcontinued,pcntl_wexitstatus,pcntl_wtermsig,pcntl_wstopsig,pcntl_signal,pcntl_signal_get_handler,pcntl_signal_dispatch,pcntl_get_last_error,pcntl_strerror,pcntl_sigprocmask,pcntl_sigwaitinfo,pcntl_sigtimedwait,pcntl_exec,pcntl_getpriority,pcntl_setpriority,pcntl_async_signals,
disable_classes =
zend.enable_gc = On
expose_php = Off
max_execution_time = 30
max_input_time = 60
memory_limit = 128M
error_reporting = E_ALL & ~E_DEPRECATED & ~E_STRICT
display_errors = Off
display_startup_errors = Off
log_errors = On
log_errors_max_len = 1024
ignore_repeated_errors = Off
ignore_repeated_source = Off
report_memleaks = On
html_errors = On
variables_order = "GPCS"
request_order = "GP"
register_argc_argv = Off
auto_globals_jit = On
post_max_size = 28M
auto_prepend_file =
auto_append_file =
default_mimetype = "text/html"
default_charset = "UTF-8"
doc_root =
user_dir =
enable_dl = Off
cgi.fix_pathinfo=1
file_uploads = On
upload_max_filesize = 20M
max_file_uploads = 20
allow_url_fopen = On
allow_url_include = Off
default_socket_timeout = 60
cli_server.color = On
date.timezone = "Europe/Amsterdam"
[Pdo_mysql]
pdo_mysql.cache_size = 2000
pdo_mysql.default_socket=
[mail function]
SMTP = localhost
smtp_port = 25
mail.add_x_header = Off
[ODBC]
odbc.allow_persistent = On
odbc.check_persistent = On
odbc.max_persistent = -1
odbc.max_links = -1
odbc.defaultlrl = 4096
odbc.defaultbinmode = 1
[Interbase]
ibase.allow_persistent = 1
ibase.max_persistent = -1
ibase.max_links = -1
ibase.timestampformat = "%Y-%m-%d %H:%M:%S"
ibase.dateformat = "%Y-%m-%d"
ibase.timeformat = "%H:%M:%S"
[MySQLi]
mysqli.max_persistent = -1
mysqli.allow_persistent = On
mysqli.max_links = -1
mysqli.cache_size = 2000
mysqli.default_port = 3306
mysqli.default_socket =
mysqli.default_host =
mysqli.default_user =
mysqli.default_pw =
mysqli.reconnect = Off
[mysqlnd]
mysqlnd.collect_statistics = On
mysqlnd.collect_memory_statistics = Off
[PostgreSQL]
pgsql.allow_persistent = On
pgsql.auto_reset_persistent = Off
pgsql.max_persistent = -1
pgsql.max_links = -1
pgsql.ignore_notice = 0
pgsql.log_notice = 0
[bcmath]
bcmath.scale = 0
[Session]
session.save_handler = files
session.use_strict_mode = 0
session.use_cookies = 1
session.use_only_cookies = 1
session.name = PHPSESSID
session.auto_start = 0
session.cookie_lifetime = 0
session.cookie_path = /
session.cookie_domain =
session.cookie_httponly =
session.serialize_handler = php
session.gc_probability = 0
session.gc_divisor = 1000
session.gc_maxlifetime = 1440
session.referer_check =
session.cache_limiter = nocache
session.cache_expire = 180
session.use_trans_sid = 0
session.sid_length = 26
session.trans_sid_tags = "a=href,area=href,frame=src,form="
session.sid_bits_per_character = 5
[Assertion]
zend.assertions = -1
[mbstring]
mbstring.func_overload = 0
[Tidy]
tidy.clean_output = Off
[soap]
soap.wsdl_cache_enabled=1
soap.wsdl_cache_dir="/tmp"
soap.wsdl_cache_ttl=86400
soap.wsdl_cache_limit = 5
[ldap]
ldap.max_links = -1
【问题讨论】：
您的 PHP 应用程序对未知路由有何反应？当文件/图像不可用时，请求被传递给 PHP 应用程序，看起来它需要太多时间来响应 404。 它是 Joomla 3.8.11，但这应该不是问题。 我在test.vuyk.eu/portfolio-3.html 上制作了一个没有php 的html 测试页，结果相同 您有自定义 404 页面吗？也许它正在尝试连接到一些死/慢的服务，或者执行某种慢速搜索并在生成 404 页面时超时。 这是个好建议。我使用脚本来显示自定义错误页面： header("HTTP/1.0 404 Not Found"); echo file_get_contents('test.vuyk.eu/404-page-not-found');出口;删除后，它运行良好，没有错误。但是我想知道为什么，因为这个脚本曾经在我的旧服务器上运行良好，我需要它来显示自定义页面。我将使用它来编辑问题。 【参考方案1】：这是发生了什么。
它在您的错误日志中显示server reached pm.max_children setting (15), consider raising it
因此，max.children 限制为 15 意味着一旦应用程序运行了 15 个进程，PHP-FPM 将停止启动进程，并且对进入的进程的任何更多请求都将排队，直到前面的进程之一结束。
您正在使用 php 脚本生成 404 页面，然后加载一个包含大量断开链接的页面，您的 Nginx 尝试文件指令以 php 脚本结尾：
try_files $uri $uri/ /index.php?$args;
来自 Nginx 文档，这意味着：
如果没有找到任何文件，则内部重定向到 uri 在最后一个参数中指定。
因此，对于每个断开的链接，您只需将一个额外的 php 进程添加到队列中。如果您在日志中计算 502 错误，您会看到有 15 个错误。因为 Nginx 会查找 15 个 /index.php?$args ，但它找不到，所以尝试显示 404，您猜怎么着？是用php生成的，现在一切都坏了。
15 个无法返回 404 的进程，因为已达到进程限制，并且它们每个都需要另一个进程来生成 404 页面，因此在它们超时之前不再为您处理。
无论如何，以这种方式提供 404 页面的整个想法都是疯狂的。这是一个静态页面，您应该从 Nginx 提供它，因为 Web 服务器非常擅长快速交付静态内容，将其传递给 php，而后者又从您自己的服务器再次请求它绝对没有意义。
将您的自定义页面下载到文件中：
curl -o /var/www/vuyk.eu/webroot/404.html https://test.vuyk.eu/404-page-not-found
现在在你的 Nginx conf 中添加一个错误页面指令：
error_page 404 /404.html;
现在你让 Nginx 提供一个自定义错误页面，而无需更改客户端 URL，并且绝对不会在你的服务器上加载。
【讨论】：
这真是个好东西！我正要建议提高 max.children 时，你突然提出这个非常好的解释！ 感谢您对 Nginx 工作原理的清晰解释。是的，我理解这个过程，并且现在的设置肯定不是它应该与断开的链接和 error.php 中的脚本以及所有内容的情况。但是为什么我的新服务器会因此而窒息而我的旧服务器却不眨眼。断开链接的处理工作没有很长的延迟。旧服务器：vuyk.eu/portfolio-2 新服务器：test.vuyk.eu/portfolio-2 观察加载时间和 HTTP 响应！另外，当我删除“listen [::]:443 ssl http2;”行时在服务器设置中，问题已经结束。【参考方案2】：关于为什么这在新服务器上很慢，有两种广泛的可能性。
-
网络服务器/PHP 的问题
DNS 问题
要进行故障排除，请在服务器上输入命令行并尝试使用 wget 或 cUrl 获取丢失的文件。如果您得到的响应与您预期的一样快，那么您的 Web 服务器/PHP 很可能有问题。如果它也很慢，那么问题出在新服务器上的 DNS 设置上。
无论如何，对外部 URL 使用 file_get_contents 似乎会导致奇怪的结果。 （是的，文件在您的服务器上，但由于您有完整的 url，它被视为外部 url）。
所以不是...
echo file_get_contents('https://test.vuyk.eu/404-page-not-found');
使用
echo file_get_contents('/server/path/to/404-page-not-found');
如果你不能这样做是因为404-page-not-found 不是物理文件并且必须通过Joomla 运行才能生成，那么为什么不使用cUrl 来代替呢？这专门用于“外部”文件。
function curlFile($url)
$ch = curl_init();
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_URL, $url);
$ret = curl_exec($ch);
curl_close($ch);
return $ret;
echo curlFile('https://test.vuyk.eu/404-page-not-found');
请注意，如果您发现了 DNS 问题，尽管如此，您仍需要解决该问题。
【讨论】：
您好，Dayo，谢谢您的建议。我从命令行 wget 进行了测试 - 运行速度很快，没有问题。该页面不是物理文件，因此 /server/path 将不起作用，当我尝试 curl 时，这也很慢并且为图像文件提供 502（我现在在 test.vuyk.eu 上有它，所以你可以检查一下在您的浏览器中）。您会建议哪个 DNS 问题？ test.vuyk.eu 指向正确的 IP，nginx 服务器设置对我来说似乎没问题。我感觉问题可能出在 nginx.conf 或 php.ini 我发现 DNS 是一门黑暗的艺术，但几年前我确实移动了服务器，有些事情变得非常缓慢。例如，Yum 运行了很长时间，直到我偶然发现了一个解决方案，即我需要交换在我的/etc/hosts 文件中检查 IPv4 和 IPv6 地址的顺序。基本上，发生的事情是在切换到 IPv4 之前，IPv6 被检查了“x”次，每次尝试之间有“y 秒”的延迟。通过让它首先检查 IPv4，这些缓慢的问题得到了解决。你可能有类似的事情发生。在你的情况下可能是相反的顺序。
感谢您的建议，我清空了整个 hosts 文件（根据该人的说法应该是安全的），但不幸的是这并没有带来任何变化。
也许交换顺序会更好。无论问题是否与主机文件有关，您的问题似乎是 DNS 问题，而不是网络服务器问题。
我用 hosts 文件的内容对问题进行了编辑。里面没有提到 IPv4，你建议交换什么？【参考方案3】：
您尝试加载的图像似乎不可用，并且请求被传递到生成 404 页面的 PHP。您的自定义 404 页面正在通过 http 获取资源
echo file_get_contents('https://test.vuyk.eu/404-page-not-found');
如果此获取速度很慢，您的脚本可能会执行很长时间，这可能会导致超时。这也可能导致请求堆积和耗尽服务器资源。
尝试用更快的方式替换此获取，您可以尝试直接从文件系统读取/包含 404 页面数据。
【讨论】：
现在我更改了 error.php 中的脚本删除了 file_get_contents 并插入了 if (($this->error->code) == '404') header('Location: /index.php?选项=com_content&view=article&id=75');出口; 接受答案后，我发现在我的旧服务器上，当我有完全相同的页面 (vuyk.eu/portfolio-2) 并且缺少使用 file_get_contents 的图像时，加载速度非常快。我想解决的服务器设置必须存在差异。所以，我试着找出 file_get_contents 这么慢的原因 @C.A.Vuyk 你以前有过某种缓存或反向代理吗？清漆，CloudFlare？ 不，根本没有！以上是关于DNS 和 nginx 服务器设置导致服务器缓慢和 502 响应的主要内容，如果未能解决你的问题，请参考以下文章