redis连接数过高排查

Posted 2022-03-13 X糊涂仙儿

一、问题

腾讯云原生的redis突然连接数暴增到1万+，导致很多正常的服务出现无法连接redis，服务报错是。之前也并未有过类似的情况，现象感觉非常奇怪

二、排查

1、资源、大key、权限排查

首先排查cpu资源是不是有抖动，有没有较大key的频繁请求，另外是不是有权限改变，从tke的宿主机使用redis-cli命令进行测式，发现连接权限米码都是正常的

redis-cli -h xxxx 

>auth password

查看热key top10 ，当时查看最大也就1.5k请求，进入pod查看6379连接都是比较少的。

2、调整redis连接数

把redis连接数调整1万+看是否能够先让其能正常使用。把最大连接数调整到15k，pod仍无法连接redis

3、查看实时会话

查看整体实时会话连接,可以全局查看到源ip连接到redis的总连接数。发现一个大数据的源ip连接数过万，进入服务pod查看连接，连接数确实过10k+

进入pod查看连接数

三、结果

最终是由一个大数据服务使用过多的短连接导致，并且很多连接并未及时关闭。修改代码长连接复用问题解决。