CEPH经常出现slow request的排查解决

Posted CasonChan

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了CEPH经常出现slow request的排查解决相关的知识,希望对你有一定的参考价值。

现象:

通过ceph -w日志经常发现有request blocked的问题(如果虚拟机系统跑在ceph上时,就会发现严重的卡顿现象)

 

排查:

1、通过dstat未发现有明显的瓶颈 (dstat -tndr 2)

2、通过iostat也未发现有明显的瓶颈 (iostat -dx 2)

3、通过netstat也未发现存储网网卡的发送队列或者接收队列有明显的积压 (netstat -an)

4、也未出现ceph官方解释的四种问题(设备坏掉等)

 

解决:

最后也是多次尝试,发现将存储网网卡的lro关掉后,恢复正常。

 

关于LRO,LSO,GRO,GSO,TSO,UFO请参考http://www.cnblogs.com/CasonChan/p/5166708.html

以上是关于CEPH经常出现slow request的排查解决的主要内容,如果未能解决你的问题,请参考以下文章

交换机死机,导致ceph ( requests are blocked ) 异常解决方法

使用BPF排查ceph高延时问题

ceph 集群报 mds cluster is degraded 故障排查

ceph故障排查ceph集群添加了一个osd之后,该osd的状态始终为down

程序 too many open files 问题排查及解决

定位apache慢请求神器—mod_log_slow