服务器中毒了——菜是原罪

Posted 2022-08-06 运维开发故事

微信公众号：运维开发故事，作者：乔克

周五朋友生日，刚吃完饭准备唱歌，接到消息说业务支付失败，问题是银行前置机无法正常和银行建立连接。

图1

我麻了…

这台服务器是银行那边亲自搭的，说实话我很少去管理：
1、是一台Windows服务器，我也不熟悉（太菜：路走窄了）
2、不知道银行装了什么东西，动了会不会造成其他问题（还是太菜：心里畏惧了）
3、业务量也不大，平时也没出现啥问题（还是太菜：惯性思维）

但是出了问题，不得不管呀，歌也没唱了 ，跑到车库，打开电脑，开始一顿瞎操作。

先去查了所有的监控数据（这个时候就靠它了）。

首先确定CPU、内存、磁盘IO、网络等都是正常的。

但是发现在问题时间点，前置机的连接数非常高（也许这就是问题的关键）。

没办法，先试试能不能远程进服务器，发现是OK的。

先使用网络排查三板斧：（1）打开浏览器访问域名，发现无法建立连接。（2）Ping域名，发现域名可以正常解析。（3）Telnet IP+Port，发现Telnet不通。

当时也没往连接数已经使用完上想（菜的扣脚）。

然后就去找Windows的事件日志了，日志实在是太多了，多的发麻，看的头晕脑花，不过功夫不负有心人，还是发现点问题，如下：

啥意思？

就是本地端口用完了，没有多余的端口可以分配使用会导致无法与外部通信。

啥意思？

这就要说到TCP三次握手了，TCP客户端和服务器连接时，客户端必须分配一个动态端口，不过这里就继续赘述了，大家都是大佬。

Windows默认动态端口范围是1024-5000，也就是只能发起约4000个Socket连接，然后第一反应就是增大动态端口分配范围（简直太聪明了）。

然后我就更改了注册表（[HKEY_LOCAL_MACHINE\\System\\CurrentControlSet\\Services\\Tcpip\\Parameters]），把端口范围增大到2000，然后重启了服务器（名副其实的SRE（Server Reboot Enginer））。

服务器重启过后，肯定是可以正常服务了，毕竟没有重启解决不了的问题，如果有，那就再重启几次。

但是事情就这么完了？

当然不，得找找为什么会有这么多连接，正常的业务情况下，不会出现这种问题。

所以就打开控制台，使用natstat -ano，不看不知道，一看吓一跳，发现非常多的链接都是和47.95.x.x进行的。

我使用netstat -ano | find "47.95.x.x" | find /c "80"一查，刚起的机器，就有2000多个连接了，着实吓到我了。

先问业务方，确认该IP是不是第三方的，得到明确答案不是，我开始慌了。

然后在网上查，发现这个IP是阿里云北京数据中心的。

一开始以为是阿里云的某些公用云服务，比如阿里云盾、云监控等（懂的都懂）。

所以就直接找阿里咯，得到回复说不是阿里云盾这些服务的IP，我慌的一批，一种不好的预感萦绕心头。

马上把这个IP禁用了，在安全组给限制掉。

然后从netstat -ano可以发现主要是通过1060这个进程建立连接的

uqccmg这个进程一看就非常规进程（不符合约定俗成的命名规则），当然也要确认一番。

得到准确答案后，尝试杀掉该进程，杀了又起，杀了又起，抓麻了。

然后通过进程去找到了文件，

看这非主流的图标，中毒无疑了。

试着删除该文件，当然是失败了，不过，也知晓了该进程是通过.net服务托管着的，那我就把.net停掉呗，反正没用这个服务。

停掉过后，确实可以杀该进程，而且也没有再启动了，连接也少了。

BUT，不要那么乐观…

病毒还是在的，只是没起了而已，仅此而已。

所以只有借助杀毒软件了，下了一个火绒，居然发现17个风险项目。

先通过杀毒软件把这个病毒干掉，具体有没有干干净我也不知道了（菜是原罪）。

业务现在可以正常使用，socket连接也是正常的，没再发现可疑进程 。

但是，心里总是没底，最好的办法还是重装，这还需要评估下迁移和安装成本，主要不是咱们自己安装，也不知道…

通过这个经历，发现自己还是太菜：
1、没有做好系统安全加固，没有安装杀毒软件啥的，主要是阿里云的云盾太贵…
2、没有经常检查服务器，没做好日常巡检
3、开放了没必要开放的端口（银行开的，我也不敢关，咋办？）
4、对Windows服务器天生逆反之心

最后，一句话总结：太TM菜了。

我是 乔克，《运维开发故事》公众号团队中的一员，一线运维农民工，云原生实践者，这里不仅有硬核的技术干货，还有我们对技术的思考和感悟，欢迎关注我们的公众号，期待和你一起成长！