最近线上某些服务器老是报cpu load高，同机房其他机器却没有问题。排查发现以下异常
ss -nl
Recv-Q Send-Q Local Address:Port Peer Address:Port
0 1024 *:10009 *:*
0 100 127.0.0.1:25 *:*
32 511 *:443 *:*
0 32 *:8000 *:*
0 128 *:10050 *:*
0 15 *:8006 *:*
0 1024 127.0.0.1:9000 *:*
0 5 *:8649 *:*
3318 7680 *:80 *:*
0 5 *:53 *:*
0 128 *:22 *:*
可以看到80端口的Recv-Q好大，并且观察一段时间发现他会涨到Send-Q一样大。其中在listen状态：
Recv-Q：代表建立的连接还有多少没有被accept
Send-Q：代表listen backlog值
其他状态：
Recv-Q：内核中的数据还有多少没有被应用程序读取
Send-Q：代表内核中发送队列里还有多少数据没有收到ack
本例可以看到nginx应为什么原因堵住了没有及时去accept新的连接，当然后来查看iostat排查到机器的写文件效率很低，nginx会在写access_log的时候堵住，大量时间用在了记日志上。
ss
用来显示处于活动状态的套接字信息。ss命令可以用来获取socket统计信息，它可以显示和netstat类似的内容。但ss的优势在于它能够显示更多更详细的有关TCP和连接状态的信息，而且比netstat更快速更高效。
当服务器的socket连接数量变得非常大时，无论是使用netstat命令还是直接cat /proc/net/tcp，执行速度都会很慢。可能你不会有切身的感受，但请相信我，当服务器维持的连接达到上万个的时候，使用netstat等于浪费 生命，而用ss才是节省时间。
天下武功唯快不破。ss快的秘诀在于，它利用到了TCP协议栈中tcp_diag。tcp_diag是一个用于分析统计的模块，可以获得Linux 内核中第一手的信息，这就确保了ss的快捷高效。当然，如果你的系统中没有tcp_diag，ss也可以正常运行，只是效率会变得稍慢。
选项
-h：显示帮助信息； -V：显示指令版本信息； -n：不解析服务名称，以数字方式显示； -a：显示所有的套接字； -l：显示处于监听状态的套接字； -o：显示计时器信息； -m：显示套接字的内存使用情况； -p：显示使用套接字的进程信息； -i：显示内部的TCP信息； -4：只显示ipv4的套接字； -6：只显示ipv6的套接字； -t：只显示tcp套接字； -u：只显示udp套接字； -d：只显示DCCP套接字； -w：仅显示RAW套接字； -x：仅显示UNIX域套接字。
实例
显示TCP连接
[[email protected] ~]# ss -t -a State Recv-Q Send-Q Local Address:Port Peer Address:Port LISTEN 0 0 *:3306 *:* LISTEN 0 0 *:http *:* LISTEN 0 0 *:ssh *:* LISTEN 0 0 127.0.0.1:smtp *:* ESTAB 0 0 112.124.15.130:42071 42.156.166.25:http ESTAB 0 0 112.124.15.130:ssh 121.229.196.235:33398
显示 Sockets 摘要
[[email protected] ~]# ss -s Total: 172 (kernel 189) TCP: 10 (estab 2, closed 4, orphaned 0, synrecv 0, timewait 0/0), ports 5 Transport Total ip IPv6 * 189 - - RAW 0 0 0 UDP 5 5 0 TCP 6 6 0 INET 11 11 0 FRAG 0 0 0
列出当前的established, closed, orphaned and waiting TCP sockets
查看进程使用的socket
[[email protected] ~]# ss -pl State Recv-Q Send-Q Local Address:Port Peer Address:Port LISTEN 0 128 :::ssh :::* users:(("sshd",1292,4)) LISTEN 0 128 *:ssh *:* users:(("sshd",1292,3)) LISTEN 0 128 127.0.0.1:ipp *:* users:(("cupsd",1165,7)) LISTEN 0 128 ::1:ipp :::* users:(("cupsd",1165,6)) LISTEN 0 128 *:32957 *:* users:(("rpc.statd",1104,9)) LISTEN 0 128 :::57637 :::* users:(("rpc.statd",1104,11)) LISTEN 0 80 :::mysql :::* users:(("mysqld",1528,17)) LISTEN 0 128 *:6379 *:* users:(("redis-server",1672,5)) LISTEN 0 128 :::6379 :::* users:(("redis-server",1672,4)) LISTEN 0 128 :::sunrpc :::* users:(("rpcbind",1084,11)) LISTEN 0 128 *:sunrpc *:* users:(("rpcbind",1084,8)) LISTEN 0 128 *:http *:* users:(("nginx",1685,13),("nginx",3698,13),("nginx",3699,13))
找出打开套接字/端口应用程序
[[email protected] ~]# ss -pl | grep 3306 0 0 *:3306 *:* users:(("mysqld",1718,10))
参考linux命令网，同时可以看运维生存时间的解释https://www.ttlsa.com/linux-command/ss-replace-netstat/
关于Recv-Q和Send-Q状态
在网上一搜大部分的说法都是这样的：
recv-Q 表示网络接收队列
表示收到的数据已经在本地接收缓冲，但是还有多少没有被进程取走，recv()
如果接收队列Recv-Q一直处于阻塞状态，可能是遭受了拒绝服务 denial-of-service 攻击。
send-Q 表示网路发送队列
对方没有收到的数据或者说没有Ack的,还是本地缓冲区.
如果发送队列Send-Q不能很快的清零，可能是有应用向外发送数据包过快，或者是对方接收数据包不够快。
这两个值通常应该为0，如果不为0可能是有问题的。packets在两个队列里都不应该有堆积状态。可接受短暂的非0情况。
对于上边的说法不能说错，但最起码不完全正确，我感觉下边的才是正解，来自：TCP queue 的一些问题
- 当 client 通过 connect 向 server 发出 SYN 包时，client 会维护一个 socket 等待队列，而 server 会维护一个 SYN 队列
- 此时进入半链接的状态，如果 socket 等待队列满了，server 则会丢弃，而 client 也会由此返回 connection time out；只要是 client 没有收到 SYN+ACK，3s 之后，client 会再次发送，如果依然没有收到，9s 之后会继续发送
- 半连接 syn 队列的长度为 max(64, /proc/sys/net/ipv4/tcp_max_syn_backlog) 决定
- 当 server 收到 client 的 SYN 包后，会返回 SYN, ACK 的包加以确认，client 的 TCP 协议栈会唤醒 socket 等待队列，发出 connect 调用
- client 返回 ACK 的包后，server 会进入一个新的叫 accept 的队列，该队列的长度为 min(backlog, somaxconn)，默认情况下，somaxconn 的值为 128，表示最多有 129 的 ESTAB 的连接等待 accept()，而 backlog 的值则由 int listen(int sockfd, int backlog) 中的第二个参数指定，listen 里面的 backlog 的含义请看这里。需要注意的是，一些 Linux 的发型版本可能存在对 somaxcon 错误 truncating 方式。
- 当 accept 队列满了之后，即使 client 继续向 server 发送 ACK 的包，也会不被相应，此时，server 通过 /proc/sys/net/ipv4/tcp_abort_on_overflow 来决定如何返回，0 表示直接丢丢弃该 ACK，1 表示发送 RST 通知 client；相应的，client 则会分别返回 read timeout 或者 connection reset by peer。上面说的只是些理论，如果服务器不及时的调用 accept()，当 queue 满了之后，服务器并不会按照理论所述，不再对 SYN 进行应答，返回 ETIMEDOUT。根据这篇文档的描述，实际情况并非如此，服务器会随机的忽略收到的 SYN，建立起来的连接数可以无限的增加，只不过客户端会遇到延时以及超时的情况。
可以看到，整个 TCP stack 有如下的两个 queue:
1. 一个是 half open(syn queue) queue(max(tcp_max_syn_backlog, 64))，用来保存 SYN_SENT 以及 SYN_RECV 的信息。
2. 另外一个是 accept queue(min(somaxconn, backlog))，保存 ESTAB 的状态，但是调用 accept()。
注意，之前我对 Recv-Q/Send-Q 的理解有些误差，使用 ss 获取到的 Recv-Q/Send-Q 在 LISTEN 状态以及非 LISTEN 状态所表达的含义是不同的。从 tcp_diag.c 源码中可以看到二者的区别:
LISTEN 状态: Recv-Q 表示的当前等待服务端调用 accept 完成三次握手的 listen backlog 数值，也就是说，当客户端通过 connect() 去连接正在 listen() 的服务端时，这些连接会一直处于这个 queue 里面直到被服务端 accept()；Send-Q 表示的则是最大的 listen backlog 数值，这就就是上面提到的 min(backlog, somaxconn) 的值。
其余状态: 非 LISTEN 状态之前理解的没有问题。Recv-Q 表示 receive queue 中的 bytes 数量；Send-Q 表示 send queue 中的 bytes 数值。