记一次无法远程故障排查20161211.2111

Posted 2020-08-22

记一次无法远程故障排查20161211.2111

故障说明：

客户反馈无法远程连接；本地ping丢包率很大；

登陆查看：

丢包异常严重；

查看虚机，VMtools已过期，继而导致未正确获取IP地址；

登陆系统重新安装VMtools；

，，，，，，，，，，，

故障依旧

尝试在cloudstack平台重新解绑策略；

故障依旧

尝试重启系统后，本地ping虚机没有丢包，非常通畅，

两分钟后，继续丢包

继而：

从虚机ping网关，通畅；

从虚机ping  vr（virtualroute）通畅；

从虚机ping外网，不通；

从vr  ping外网，通畅；

 

查看系统进程：

 

占用资源较高的进程，apached mysql；kill进程后不见效；

查看系统磁盘及缓存：

free -m  /  df -h

正常；

 

尝试重启vr后，故障依旧

疑似内网攻击

登陆系统查看

1.私网地址行为

    tcpdump -i eth0 -n host <ip>

2.当前连接数；

    cat /proc/net/ip_conntrack | awk ‘{print $4,$5}‘ | sort | uniq -cd | sort -rn -k1 | sed ‘3q‘

连接数  132656！！！

异常，确认为内网攻击。

此时本地ping丢包仍严重且无法远程；

 

关机并重装系统；

OK

本文出自 “这是一个博客” 博客，请务必保留此出处http://42106991.blog.51cto.com/10603763/1881732