故障分析 一次因为超过最大连接数的登陆限制

Posted 2023-05-15

参考技术A 在测试某功能时，将 mysql 的最大连接数设置为 120，使用 sysbench 并发 200 插入数据，

上述错误是预期内的结果，因为 sysbench 的 200 个并发超过了 mysql 实例最大连接数；

随后，修改 sysbench 并发数为 100（小于最大连接数），再次插入数据，失败报错，并发数已经小于最大连接数了，为什么还报错，报错信息如下：

使用用户 test 单独登录实例，和上面报一样的错误：

之前正常的可以登录的用户 test，现在无法登录了。

起初，并不了解是什么原因造成的登录失败。查询官网文档了解到，是用户的错误的连接数超过了设置的最大值，这个最大值参数是 max_connect_errors。

解决方法很简单：执行 flush hosts

对于这个参数 max_connect_errors 之前并不了解，查阅网上文档提到，使用错误密码多次登录并不能模拟失败连接。尝试将此参数修改为 2，然后使用错误密码登录 2 次，后续再登录依然成功。看来使用错误密码确实不能模拟失败连接。

查阅官网文档了解到，在 Performance Schema 库表 host_cache 里会保存客户端的连接信息，其中字段 SUM_CONNECT_ERRORS 就是记录连接的错误次数，一旦 SUM_CONNECT_ERRORS 的值达到 max_connect_errors 设定的值，来自此客户端的连接就会被阻止。SUM_CONNECT_ERRORS 的官网描述：The number of connection errors that are deemed “blocking” (assessed against the max_connect_errors system variable). Only protocol handshake errors are counted, and only for hosts that passed validation (HOST_VALIDATED = YES).

可以看到这里指的是协议握手错误的次数。

下面使用 telnet 来模拟协议的握手错误次数：

配置最大错误连接错误数为 2，查看库表 Performance Schema.host_cache 的 SUM_CONNECT_ERRORS

这里 SUM_CONNECT_ERRORS 初始值为 0；

注：另一个参数 count_authentication_errors 是尝试错误密码登录的次数（这里的 2 就是之前尝试错误密码登录的次数）。

在客户端主机上使用 telnet 尝试 2 次端口探测，

再次查看该主机的 SUM_CONNECT_ERRORS 变成了 2。

此时问题复现，客户端登录实例被拒绝，因为错误连接次数达到了最大值 2。

回到本文最开始的问题，sysbench 并发 200 超过最大连接数 max_connections=120 时，

由于 max_connect_errors 的缺省值是 100，sysbench 并发 200 造成了 109 个错误连接，这就超过了错误连接的最大值，所以后续连接就报错了。

另外，为什么错误连接数 SUM_CONNECT_ERRORS 是 109，是因为此环境实例已经存在来自其他客户端的 11 个正常连接（通过 show processlist 可见），那么只剩下 120-11=109 个可用连接，sysbench 的 200 个并发，只接受了 109 个然后就协议握手失败，所以造成了 109 个错误连接。

官网提到错误连接指的是协议的握手失败次数，并未明确说明是哪个协议，是 TCP/IP 还是应用层的 MySQL 协议?

对于 TCP/IP 通信，首先是 TCP 协议的三次握手，因为客户端已经成功收到了服务端返回的报错：error 1040: Too many connections，TCP 握手已经成功完成了，所以这里的协议应该指的是 MySQL 的握手协议。

这里可以通过抓包来验证：

上述前三个包是完整的 TCP 握手协议包，已经完成了 TCP 的握手协议，后面 MySQL 协议服务端发送完 HandShake 信息之后双方就关闭了连接，客户端并未继续发送登录认证包，造成 MySQL 的协议握手失败。所以这里指的是 MySQL 的协议握手失败次数。

针对上面利用 telnet 来模拟协议握手失败的例子，由于 telnet 只是发送了 TCP 的握手包，并不会发送 MySQL 登录认证包，服务器端等待 10 秒（mysql 的 connect_timeout=10）就关闭了连接，所以才造成 MySQL 的握手失败。

iptables限制同一IP连接数，防防CC/DDOS攻击

启动sftp本机的iptables防火墙功能，限制每个ip连接22端口（sftp连接端口即是ssh端口）最大为50个，当超过50后的连接数的流量就会被DROP掉！ 同时iptables需要开放50000-65535范围的端口的访问（linux系统最大的端口为65535）   [[email protected] ~]# cat /etc/sysconfig/iptables # Firewall configuration written by system-config-firewall # Manual customization of this file is not recommended. *filter :INPUT ACCEPT [0:0] :FORWARD ACCEPT [0:0] :OUTPUT ACCEPT [0:0] -A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT -A INPUT -p icmp -j ACCEPT -A INPUT -i lo -j ACCEPT #-A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT -A INPUT -p tcp --syn --dport 22 -m connlimit --connlimit-above 50 --connlimit-mask 0 -j DROP -A INPUT -m state --state NEW -m tcp -p tcp --dport 50000:65535 -j ACCEPT #-A INPUT -j REJECT --reject-with icmp-host-prohibited                                //注意这两行需要注释掉！否则设置的策略无效！ #-A FORWARD -j REJECT --reject-with icmp-host-prohibited COMMIT   =================================解释说明=========================================== 上面限制端口连接数主要用到的模块是connlimit。 -A INPUT -p tcp --syn --dport 22 -m connlimit --connlimit-above 50 --connlimit-mask 0 -j DROP 说明输入的目标端口是22，也就是访问sftp本机22端口的流量，如果连接数大于50，则DROP流量，connlimit-above这个是连接数的统计， 如果大于50就满足条件，connlimit-mask这个是定义那组主机，此处跟的一个数值是网络位，即子网掩码，也就是connlimit-mask 0 这个ip组的连接数大于connlimit-above 50则DROP掉！   总体描述为流量过滤端口和连接数以及网络位，如果满足第一条，则拒绝，流量不再匹配下边的规则，如果不匹配，则第二条规则会允许流量。 --connlimit-mask 0 即子网掩码为0，表示所有的ip，也就是说不管什么ip，只要连接此服务器的22端口超过3个，则DROP。   如果将--connlimit-mask 0去掉，则子网掩码默认是32，也就是说某个ip连接此服务器的22端口超哥50个，则DROP掉！ 如果有51台机器，每台机器连接一个，则不会被DROP掉！   也就是说connlimit-above 3这个的数量所限制的区域是由--connlimit-mask 0而定！

================iptables限制同一IP连接数，防防CC/DDOS攻击================

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35

1）限制与80端口连接的IP最大连接数为50，可自定义修改。 [[email protected] ~]# iptables -A INPUT -p tcp --dport 80 -m connlimit --connlimit-above 50 -j DROP   2）使用recent模块限制同IP时间内新请求连接数。   下面策略表示：60秒有10个新连接，超过记录日志。 [[email protected] ~]# iptables -A INPUT -p tcp --dport 80 --syn -m recent --name webpool --rcheck --seconds 60 --hitcount 10 -j LOG --log-prefix ‘DDOS:‘ --log-ip-options   下面策略表示：60秒10个新连接，超过丢弃数据包 [[email protected] ~]# iptables -A INPUT -p tcp --dport 80 --syn -m recent --name webpool --rcheck --seconds 60 --hitcount 10 -j DROP   可以在iptables配置文件中 [[email protected] ~]# vim /etc/sysconfig/iptables    //删除原来的内容输入如下内容 保存 # Generated by iptables-save v1.3.5 on Sun Dec 12 23:55:59 2010 *filter :INPUT DROP [385263:27864079] :FORWARD ACCEPT [0:0] :OUTPUT ACCEPT [4367656:3514692346] -A INPUT -i lo -j ACCEPT -A INPUT -m state –state RELATED,ESTABLISHED -j ACCEPT -A INPUT -p icmp -j ACCEPT -A INPUT -s 127.0.0.1 -j ACCEPT -A INPUT -p tcp -m tcp –dport 80 -m state –state NEW -m recent –set –name WEB –rsource -A INPUT -p tcp -m tcp –dport 80 -m state –state NEW -m recent –update –seconds 5 –hitcount 20 –rttl –name WEB –rsource -j DROP -A INPUT -p tcp -m multiport –ports 21,22,80 -j ACCEPT -A INPUT -p tcp -m tcp –tcp-flags SYN,RST,ACK SYN -m ttl –ttl-eq 117 -j DROP -A INPUT -p tcp -m tcp –tcp-flags SYN,RST,ACK SYN -m length –length 0:40 -j DROP -A INPUT -p tcp -m tcp ! –tcp-flags SYN,RST,ACK SYN -m state –state NEW -j DROP COMMIT # Completed on Sun Dec 12 23:55:59 2017   以上配置，说明此设定仅对外开放21(FTP),22(SSH),80(http网站）三个TCP端口。设置80端口5秒内20个连接。   [[email protected] ~]# /etc/init.d/iptables restar