转载

被黑了

话说从前些天开始，我的某台服务器不时会出现外网访问响应速度变慢的情况，不过内网访问倒是一直正常。因为并不是核心服务器，所以一开始我便忽略了监控报警，但是随着服务器的可用性越来越差，我不得不腾出手来看看到底发生了什么。

既然是网络问题，那么就在客户端用「mtr <IP>」检查一下网络情况：

mtr

既然丢包主要发生在最后一跳，那么就在服务器用「sar -n DEV」检查一下带宽：

sar

明显可见 TX 流量时不时便会到达一定的高峰，说明服务器在向外发送大量数据，导致触及了带宽阈值，那么到底是什么原因造成的呢？是时候祭出「iptraf」神器了，本例的服务器中，内网正常，其网卡是 eth0；外网异常，其网卡是 eth1：

iptraf (General interface statistics)

单独监控外网网卡发现大部分流量都集中在 UDP 协议之上：

iptraf (Detailed interface statistics)

按照端口监控发现流量主要集中在 UDP 的 53 端口上。不过需要说明的是这里的端口既可能是源端口，也可能是目标端口，并且 iptraf 缺省只监控 1024 以下的端口：

iptraf (Statistical breakdowns)

监控具体的流量包，发现本地端口在不停的往远程的端口发请求：

iptraf (IP traffic monnitor)

随便提一下，在上面的确诊过程中，我详细描述了 iptraf 的用法，其实 iftop 也不错，但是需要说明的是，iftop 缺省并不显示端口信息（按 p 键显示）。

iftop

如果要想知道某个端口运行的是什么程序，可以使用 lsof 命令：

shell> lsof -i:<PORT>

结果发现可疑进程是通过 jenkins 用户启动的，于是我们基本上可以确认攻击者是通过 jenkins 漏洞攻陷服务器的，让我的服务器成为一台肉鸡，进而对目标发起 DNS 反射攻击。既然已经大概搞清楚了被攻击的原因，那么最简单的方法就是把问题服务器直接下线，重新配置一个新服务器，不过有时候事情并不简单，所以得想办法恢复它。

因为攻击者可能会在服务器上做手脚，所以我们需要仔细排查每一个存在隐患的地方，比如 cron 配置，还有 /etc/passwd 和 /etc/rc.d/init.d/* 等文件。此外，一些常用的命令也存在被感染的可能性，如果操作系统是 CentOS 的话，可以按如下方式确认：