记一次linux服务器被挂马的处理过程

Posted 2020-11-27

        有断时间突然发现zimbra邮件服务器过几天就卡死，得重启才能恢复,卡的时候根本用不了命令，按服务器关机键都没办法关机，只能强制重启。连续观察好几天，通过sar -f /var/log/sarxx查看日志发现，CPU使用率隔一阵子就会390%或者更多，但是这个sar只能查看系统层面的，没法查看是哪个进程使用率偏高。后面去网上下载了atop，这个程序可以查看得更详细，包括历史进程使用情况，安装后也一直没有查看到异常。
     连续再观察几天后，突然有一天被我观察出来了，当CPU高的时候使用top命令查看有一个进程/opt/zimbra/log/zmcpustat在运行，但是ls /opt/zimbra/log/zmcpustat后系统提示没有这个目录或文件，使用zimbra用户进行也一样。于是就怀疑是病毒或***伪装的进程名(结合公司ip之前老是被反垃圾联盟https://www.spamhaus.org收录)，实际进程应该不是这个，也不知道是哪个。
     查看/etc/fstab 、/etc/init.d 、/etc/rc.lcal、 /etc/rc*.d  、/var/cron/root 、/var/cron/zimbra进程都没有发现可疑进程。使用systemctl list-unit-files|grep enabled查看开机启动项，也没有发现可疑启动项，使用firewall-cmd --zone=public --list-ports查看防火墙开放的端口也是邮件服务需要的那几个端口，使用 rpm -qf /usr/bin/ps 

返回procps-ng-3.3.10-17.el7.x86_64，再使用rpm -V procps-ng-3.3.10-17.el7.x86_64查看返回结果(为空就是正常)，发现系统这些命令也没有被替换，连续查看了ps 、top、kill几个命令发现都正常。
使用ls of pid、ll /pro/pid/exe查看指向的都是/opt/zimbra/log/zmcpustat这个不存在的目录。使用netstat -antup|grep pid发现实个进程一直在跟国外的ip进行通讯，我把这个进程kill 掉后，他就会重新运行，跟另外一个ip通讯。真没有招了，是个正在运行的邮件服务器，也不想去重装系统。
后面请教了一个大佬，有一个临时的招kill -STOP pid，这样就可以让可疑进程暂停不运行，进程虽然还在，但是CPU使用率已经正常了，连续观察几天都没有升，在反垃圾联盟里面连续几天也没有被拉黑。有大佬有好的办法麻烦留言指导一下。