kernel TCP time wait bucket table overflow

Posted 小怪兽的技术博客

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了kernel TCP time wait bucket table overflow相关的知识,希望对你有一定的参考价值。

 

# 故障描述

有一个需求是实时分析API接口访问日志,提取token去数据库查询对应的uid,然后收集一些指标存入到hbase中。

当程序执行一会后会被系统杀死 Killed ! 

# 故障排查

1、CPU平均负载0.06、内存空闲29G

2、查看系统日志 /var/log/messages

提示:kernel: TCP: time wait bucket table overflow

3、查找资料发现是因为 socket TIME_WAIT 超出了内核设定的上限值

# 解决方法

shell > vim /etc/sysctl.conf

net.ipv4.tcp_fin_timeout = 60       # 如果套接字由本端要求关闭,这个参数决定了它保持在 FIN-WAIT-2 状态的时间,缩短可以减少 TIME_WAIT 状态数量

net.ipv4.tcp_max_tw_buckets = 5000  # TIME_WAIT 数量,超出的部分会被系统删除

net.ipv4.tcp_timestamps = 1         # 该参数与快速回收同时开启且网络环境属于NAT(SLB、LVS)这种情况下会出现问题,切记
net.ipv4.tcp_tw_reuse = 0           # 连接重用,降低 TIME_WAIT 状态数量
net.ipv4.tcp_tw_recycle = 0         # 快速回收 不建议开启,有可能导致无法建立 TCP 连接

net.ipv4.ip_local_port_range = 32768 60999  # 本地可用端口范围,增加会使服务器可以建立更多的连接,增加吞吐量

# 所以优化的结果如下:

net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_max_tw_buckets = 32768
net.ipv4.tcp_tw_reuse = 1
net.ipv4.ip_local_port_range = 10240 60999

 

以上是关于kernel TCP time wait bucket table overflow的主要内容,如果未能解决你的问题,请参考以下文章

TCP TIME_WAIT 详解

tcp状态-TIME_WAIT与CLOSE_WAIT带来的坑

谈谈TCP中的TIME_WAIT

设置 TIME_WAIT TCP

TCP连接的TIME_WAIT

tcp协议-http协议-time-wait-close-wait必知