connect timed out问题排查

Posted 2023-04-12

参考技术A 最近观察到日志上偶现一个错误：

该问题很清晰，就是发起http请求时，构建TCP连接时发生了超时问题。

由于是偶现的，频率不高所以一开始没有足够重视，直到上了k8s之后频率颇高。一开始没有把这个问题聚焦到配置 ribbon.ConnectionTimeout 参数上，因为默认使用的统一配置，没成想居然这里有个小坑。

为了排查该问题，我找到运维同学在生产环境低峰期通过 tcpdump 命令进行抓包，参考命令如下： tcpdump -i eth0 dst host \( ....(IP地址).. \) and port 5000 -w /root/connect_timeout.cap & ，由于是偶现的问题，所以抓包过程时间较长，所幸在低峰期出现了一次。在几百兆的里找哪些有问题的包，确实不好找。

好在我们异常调用栈了打印了案发现场的时间： 2021-07-05 09:20:35.954 ERROR 1 --- [nio-5000-exec-3]

使用 wireshake 前，我调整了两个配置项：
1、修改 View -> Time Diaplay Formate ，选择 Date and Time of Day
2、修改 Preferences -> Protocols -> TCP ，去掉 Relative sequence number

通过时间找到了两个非常可疑的包，如下：

1、它的时间跟异常调用栈的时间很接近，一秒左右的时间。
2、它只有 SYN 包，其他包没有，一个正常的http请求必须是完整的三次握手在前。
3、它向服务方发送了 RST 包。

1、在34秒的时候发出 SYN 包，之后等待服务端响应 ACK 包
2、在1秒后由于没有收到 ACK 包，所以响应了 ConnectinTimeout 超时？要满足这里，应用程序需要将 ConnectinTimeout 设置为1秒
3、在超时异常后，客户端终止了本次 TCP 连接的建立，但是此时收到了服务端的 ACK 包。（由于运维同学的命令写的有问题，导致没有把服务端的 ACK 包抓下来，去掉dst即可）
4、客户端收到这个包之后，由TCP协议栈回复了服务端一个 RST 包终止连接的建立。

那么 ConnectinTimeout 导致配置了多少？程序上找了半天也没有找到相关的配置，只找到一个配置项如下 ribbon.ReadTimeout: 2000 ，那么默认的 ConnectinTimeout 是多少？没成想居然真的是1s，如下图：

将 ConnectinTimeout 上调5s将会出现什么情况？ 理论上在建立TCP连接时发送 SYN 将会由于超时而重复发送，重试次数配置参数为 net.ipv4.tcp_syn_retries ，我们的机器默认是6，而重试的是具备时间间隔的，大致为 【1,3,7,15,31,63】 ,间隔为s。

TNS-12535: TNS:operation timed out (WARNING: inbound connection timed out (ORA-3136))

问题原因:

Fatal NI connect error 12170.
  VERSION INFORMATION:
        TNS for Linux: Version 11.2.0.3.0 - Production
        Oracle Bequeath NT Protocol Adapter for Linux: Version 11.2.0.3.0 - Production
        TCP/IP NT Protocol Adapter for Linux: Version 11.2.0.3.0 - Production
  Time: 24-MAY-2017 18:40:22
  Tracing not turned on.
  Tns error struct:
    ns main err code: 12535
TNS-12535: TNS:operation timed out
    ns secondary err code: 12606
    nt main err code: 0
    nt secondary err code: 0
    nt OS err code: 0
  Client address: (ADDRESS=(PROTOCOL=tcp)(HOST=192.168.1.2)(PORT=44430))
WARNING: inbound connection timed out (ORA-3136)
Wed May 24 18:45:22 2017

解决方法:

[[email protected] admin]$ vim listener.ora
INBOUND_CONNECT_TIMEOUT_listener=0

[[email protected] admin]$ lsnrctl
LSNRCTL for Linux: Version 11.2.0.3.0 - Production on 24-MAY-2017 18:50:44
Copyright (c) 1991, 2011, Oracle.  All rights reserved.
Welcome to LSNRCTL, type "help" for information.
LSNRCTL> show inbound_connect_timeout
Connecting to (DESCRIPTION=(ADDRESS=(PROTOCOL=TCP)(HOST=iZbp18v7ndmiqoklooj0l8Z)(PORT=1521)))
LISTENER parameter "inbound_connect_timeout" set to 0
The command completed successfully
LSNRCTL> exit
[[email protected] admin]

本文出自 “一起走过的日子” 博客，请务必保留此出处http://tongcheng.blog.51cto.com/6214144/1929113