症状表现
从外网连接服务器时,间接性断开特别频繁。在断开的时候,从内网也连接不上
排查方法
- 从链路等硬件方面去排查
通过zabbix监控的服务器的端口,发现这个服务器一直在间断性占用1000M带宽,实际客户购买的带宽15M,这就是客户间断性频繁断网的原因。
在排除了线路等相关问题后,将问题锁定在客户系统内。
- 在软件中排查
在Linux系统中,我们可以使用top命令去查看系统任务和资源占用
发现可疑进程 kdevtmpfsi,一直占用CPU资源,通过搜索,发现这是挖矿病毒。
删除进程
- 通过 ps -ef 命令查出 kdevtmpfsi 进程号,直接 kill -9 进程号并删除 /tmp/kdevtmpfsi 执行文件。但没有过1分钟进程又运行了,这时就能想到,kdevtmpfsi 有守护程序或者有计划任务。通过 crontab -l 查看是否有可疑的计划任务。
- 根据上面结果知道 kdevtmpfsi 的PID号,使用 systemctl status PID号,发现 kdevtmpfsi 有守护进程,记录守护进程的PID号
- kill 掉 kdevtmpfsi 守护进程,再 killall -9 kdevtmpfsi 挖矿病毒,最后删除 kdevtmpfsi 执行程序 rm -f /tmp/kdevtmpfsi。
事后检查
- 通过 find / -name “kdevtmpfsi” 命令搜索是否还有 kdevtmpfsi 文件
- 查看 Linux ssh 登陆审计日志。Centos 与 RedHat 审计日志路径为 /var/log/secure,Ubuntu 与 Debian 审计日志路径为 /var/log/auth.log
- 检查 crontab 计划任务是否有可疑任务
文章来源:https://www.cnaaa.net,转载请注明出处:https://www.cnaaa.net/archives/4645