Linux 应急响应流程及实战演练
Linux 应急响应流程及实战演练
当企业发生黑客入侵、系统崩溃或其它影响业务正常运行的安全事件时,急需第一时间进行处理,使企业的网络信息系统在最短时间内恢复正常工作,进一步查找入侵来源,还原入侵事故过程,同时给出解决方案与防范措施,为企业挽回或减少经济损失。
针对常见的攻击事件,结合工作中应急响应事件分析和解决的方法,总结了一些 Linux 服务器入侵排查的思路。
0x01 入侵排查思路
1.1 账号安全
1.1.1 基本使用
用户信息文件
/etc/passwd
1
2
3root:x\:0:0:root:/root:/bin/bash
account:password:UID:GID:GECOS:directory:shell
用户名:密码:用户ID:组ID:用户说明:家目录:登陆之后shell
注意:无密码只允许本机登陆,远程不允许登陆
影子文件 /etc/shadow
1
2root:$6$oGs1PqhL2p3ZetrE$X7o7bzoouHQVSEmSgsYN5UD4.kMHx6qgbTqwNVC5oOAouXvcjQSt.Ft7ql1WpkopY0UV9ajBwUt1DpYxTCVvI/:16809:0:99999:7:::
用户名:加密密码:密码最后一次修改日期:两次密码的修改时间间隔:密码有效期:密码修改到期到的警告天数:密码过期之后的宽限天数:账号失效时间:保留几个常用命令
1
2
3who 查看当前登录用户(tty 本地登陆 pts 远程登录)
w 查看系统信息,想知道某一时刻用户的行为
uptime 查看登陆多久、多少用户,负载
1.1.2 入侵排查
查询特权用户 (uid 为 0)
1
[root@localhost \~]# awk -F: '\$3\=\=0{print \$1}' /etc/passwd
查询可以远程登录的帐号信息
1
[root@localhost \~]# awk '/\$1|\$6/{print \$1}' /etc/shadow
除root 帐号外,其他帐号是否存在 sudo 权限。如非管理需要,普通帐号应删除 sudo 权限
1
[root@localhost \~]# more /etc/sudoers | grep -v "\^#|\^\$" | grep "ALL\=(ALL)"
禁用或删除多余及可疑的帐号
1
2
3~ ] usermod -L user 禁用帐号,帐号无法登录,/etc/shadow第二栏为! 开头
~ ] userdel user 删除user 用户
~ ] userdel -r user 将删除user用户,并且将/home目录下的user目录一并删除
1.2 历史命令
1.2.1 基本使用
通过 .bash_history
查看帐号执行过的系统命令
root的历史命令
1
~] histroy
打开/home 各帐号目录下的
.bash_history
,查看普通帐号的历史命令为历史的命令增加登录的IP地址、执行命令时间等信息:
保存 1 万条命令
1
sed -i 's/\^HISTSIZE\=1000/HISTSIZE\=10000/g' /etc/profile
在
/etc/profile
的文件尾部添加如下行数配置信息:1
2
3
4
5
6
7
8
9
10
11######jiagu history xianshi#########
USER_IP=who-uam i 2>/dev/null | awk'{print $NF}'| sed-e's/[()]//g'
if[ "$USER_IP"=""] then
USER_IP=hostname
fi
export HISTTIMEFORMAT="%F %T $USER_IP whoami"
shopt-shistappend
export PROMPT_COMMAND="history -a"
######### jiagu history xianshi ##########source /etc/profile 让配置生效
生成效果
1
1 2018-07-10 19:45:39 192.168.204.1 root source /etc/profile
历史操作命令的清除:
history -c
但此命令并不会清除保存在文件中的记录,因此需要手动删除
.bash_profile
文件中的记录。
1.2.2 入侵排查
进入用户目录下:
1 |
|
1.3 端口
使用 netstat
网络连接命令,分析可疑端口、IP、PID
1 |
|
查看下pid所对应的进程文件路径,
运行 ls -l /proc/$PID/exe
或 file /proc/$PID/exe
($PID为对应的 pid 号)
1.4 进程
使用 ps 命令,分析进程
1 |
|
1.5 开机启动项
1.5.1 基本使用
系统运行级别示意图: 0 shutdown 6 reboot
查看运行级别命令:runlevel
系统默认允许级别:
1
2
3~ ] vi /etc/inittab
id=3:initdefault
# 系统开机后直接进入哪个运行级别开机启动配置文件
1
2~ ] /etc/rc.local
~ ] /etc/rc.d/rc[0\~6].d例子:当我们需要开机启动自己的脚本时,只需要将可执行脚本丢在
/etc/init.d
目录下,然后在/etc/rc.d/rc*.d
中建立软链接即可1
root@localhost ~]# ln -s /etc/init.d/sshd /etc/rc.d/rc3.d/S100ssh
此处
sshd
是具体服务的脚本文件,S100ssh
是其软链接,S 开头代表加载时自启动;如果是 K 开头的脚本文件,代表运行级别加载时需要关闭的。
1.5.2 入侵排查
启动项文件
1
2
3~ ] more /etc/rc.local
~ ] /etc/rc.d/rc[0\~6].d
~ ] ls -l /etc/rc.d/rc3.d/
1.6 定时任务
1.6.1 基本使用
利用crontab 创建计划任务
crontab -l
列出某个用户 cron 服务的详细内容Tips:默认编写的 crontab 文件会保存在 (
/var/spool/cron/用户名
例如:/var/spool/cron/root
)crontab -r
删除每个用户 cront 任务(谨慎:删除所有的计划任务)
crontab -e
使用编辑器编辑当前的 crontab 文件如:
*/1 * * * * echo "hello world" >> /tmp/test.txt
每分钟写入文件利用anacron 实现异步定时任务调度
每天运行
/home/backup.sh
脚本:vi /etc/anacrontab
@daily 10 example.daily /bin/bash /home/backup.sh
当机器在 backup.sh 期望被运行时是关机的,anacron 会在机器开机十分钟之后运行它,而不用再等待 7 天。
1.6.2 入侵排查
重点关注以下目录中是否存在恶意脚本
1 |
|
小技巧:
more /etc/cron.daily/* 查看目录下所有文件
1.7 服务
7.1 服务自启动
第一种修改方法
1
2
3chkconfig [--level 运行级别][独立服务名][on|off]
chkconfig –level 2345 httpd on 开启自启动
chkconfig httpd on (默认 level 是 2345)第二种修改方法
1
2修改/etc/re.d/rc.local 文件
加入/etc/init.d/httpd start第三种修改方法
1
使用 ntsysv 命令管理自启动,可以管理独立服务和 xinetd 服务
1.7.2 入侵排查
1.7.2.1 查询已安装的服务
1 |
|
1.8 系统日志
日志默认存放位置:/var/log/
查看日志配置情况:more /etc/rsyslog.conf
1.8.1 日志分析技巧
1 |
|
1 |
|
1 |
|
1 |
|
1 |
|
0x02 工具篇
2.1 Rootkit查杀
2.1.1 chkrootkit
Chkrootkit 是一个用于检测 Linux 系统中是否存在 rootkit 的安全工具。它通过检查系统的关键文件和配置,寻找可疑的修改或隐藏迹象,从而帮助管理员识别潜在的安全威胁。
使用方法:
1 |
|
2.1.2 rkhunter
rkhunter(Rootkit Hunter)是一款开源的安全工具,主要用于检测类Unix系统(如Linux)上的rootkit、后门和本地恶意软件。它通过检查文件系统、系统配置和已知恶意软件的特征,来帮助用户识别潜在的安全威胁。
使用方法:
1 |
|
2.2 病毒查杀
2.2.1 Clamav
ClamAV(Clam AntiVirus)是一个开源的防病毒软件,主要用于检测恶意软件、病毒和其他安全威胁。它被广泛应用于邮件服务器和其他需要保护的系统中。
ClamAV 的官方下载地址为:http://www.clamav.net/download.html
2.2.1.1 安装方式一
1 |
|
2.2.1.2 安装方式二
1 |
|
2.2.3 webshell 查杀
Linux 版
1 |
|
2.2.4 RPM check检查
系统完整性可以通过 rpm 自带的 -Va 来校验检查所有的 rpm 软件包,查看哪些命令是否被替换了:
1 |
|
如果一切均校验正常将不会产生任何输出,如果有不一致的地方,就会显示出来,输出格式是 8 位长字符串,每个字符都用以表示文件与 RPM 数据库中一种属性的比较结果 ,如果是. (点) 则表示测试通过。
验证内容中的 8 个信息的具体内容如下:
S
文件大小是否改变
M
文件的类型或文件的权限(rwx)是否被改变
5
文件 MD5校验是否改变(可以看成文件内容是否改变)
D
设备中,从代码是否改变
L
文件路径是否改变
U
文件的属主(所有者)是否改变
G
文件的属组是否改变
T
文件的修改时间是否改变
如果命令被替换了,如果还原回来:
文件提取还原案例:
rpm -qf /bin/ls
查询ls命令属于哪个软件包
mv /bin/ls /tmp
先把 ls 转移到 tmp 目录下,造成 ls 命令丢失的假象
rpm2cpio /mnt/cdrom/Packages/coreutils-8.4-19.el6.i686.rpm | cpio -idv ./bin/ls
提取 rpm 包中 ls 命令到当前目录的 /bin/ls
下
cp /root/bin/ls /bin/
把 ls 命令复制到 /bin/ 目录 修复文件丢失
0x03 应急响应实战之 SSH暴力破解
SSH 是目前较可靠,专为远程登录会话和其他网络服务提供安全性的协议,主要用于给远程登录会话数据进行加密,保证数据传输的安全。SSH 口令长度太短或者复杂度不够,如仅包含数字,或仅包含字母等,容易被攻击者破解,一旦被攻击者获取,可用来直接登录系统,控制服务器所有权限。
3.1 应急场景
某天,网站管理员登录服务器进行巡检时,发现端口连接里存在两条可疑的连接记录,如下图:
TCP 初始化连接三次握手吧:发 SYN 包,然后返回 SYN/ACK 包,再发 ACK 包,连接正式建立。但是这里有点出入,当请求者收到 SYS/ACK 包后,就开始建立连接了,而被请求者第三次握手结束后才建立连接。
客户端 TCP 状态迁移:
CLOSED->SYN_SENT->ESTABLISHED->FIN_WAIT_1->FIN_WAIT_2->TIME_WAIT->CLOSED
服务器 TCP 状态迁移:
CLOSED->LISTEN->SYN recv->ESTABLISHED->CLOSE_WAIT->LAST_ACK->CLOSED
当客户端开始连接时,服务器还处于LISTENING,客户端发一个 SYN 包后,服务端接收到了客户端的 SYN 并且发送了 ACK 时,服务器处于 SYN_RECV 状态,然后并没有再次收到客户端的 ACK 进入 ESTABLISHED 状态,一直停留在 SYN_RECV 状态。
在这里,SSH(22)端口,两条外网 IP 的 SYN_RECV 状态连接,直觉告诉了管理员,这里一定有什么异常。
3.2 日志分析
SSH 端口异常,我们首先有必要先来了解一下系统账号情况:
3.2.1 系统账号情况
除 root 之外,是否还有其它特权用户 (uid 为 0)
1
2[root@localhost ~]# awk -F: '$3==0{print $1}' /etc/passwd
root可以远程登录的帐号信息
1
2[root@localhost ~]# awk '/$1|$6/{print $1}' /etc/shadow
root:\$6\$38cKfZDjsTiUe58V\$FP.UHWMObqeUQS1Z2KRj/4EEcOPi.6d1XmKHgK3j3GY9EGvwwBei7nUbbqJC./qK12HN8jFuXOfEYIKLID6hq0::0:99999:7:::
我们可以确认目前系统只有一个管理用户 root。
接下来,我们想到的是
/var/log/secure
,这个日志文件记录了验证和授权方面的信息,只要涉及账号和密码的程序都会记录下来。
3.2.2 确认攻击情况
统计了下日志,发现大约有
126254
次登录失败的记录,确认服务器遭受暴力破解1
2[root@localhost ~]# grep -o "Failed password" /var/log/secure| uniq -c
126254 Failed password输出登录爆破的第一行和最后一行,确认爆破时间范围
1
2
3
4
5[root@localhost ~]# grep "Failed password" /var/log/secure|head -1
Jul 8 20:14:59 localhost sshd[14323]: Failed password for invalid user qwe from 111.13.xxx.xxx port 1503 ssh2
[root@localhost ~]# grep "Failed password" /var/log/secure|tail -1
Jul 10 12:37:21 localhost sshd[2654]: Failed password for root from 111.13.xxx.xxx port 13068 ssh2进一步定位有哪些 IP 在爆破?
1
2[root@localhost ~]# grep "Failed password" /var/log/secure|grep -E -o "(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?).(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?).(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?).(25[0-5]|2[0-4][0-9]|[01]?[0-9][0-9]?)"|uniq -c | sort -nr
12622 23.91.xxx.xxx 8942 114.104.xxx.xxx 8122 111.13.xxx.xxx 7525 123.59.xxx.xxx ...................爆破用户名字典都有哪些?
1
2[root@localhost ~]# grep "Failed password" /var/log/secure|perl -e 'while($_=<>){ /for(.*?) from/; print "$1\n";}'|uniq -c|sort -nr
9402 root 3265 invalid user oracle 1245 invalid user admin 1025 invalid user user .....................
3.2.3 管理员最近登录情况
登录成功的日期、用户名、IP:
1
2[root@localhost ~]# grep "Accepted " /var/log/secure | awk '{print $1,$2,$3,$9,$11}'
Jul 9 09:38:09 root 192.168.143.100Jul 9 14:55:51 root 192.168.143.100Jul 10 08:54:26 root 192.168.143.100Jul 10 16:25:59 root 192.168.143.100............................通过登录日志分析,并未发现异常登录时间和登录IP。
顺便统计一下登录成功的 IP 有哪些:
1
2[root@localhost ~]# grep "Accepted " /var/log/secure | awk '{print $11}' | sort | uniq -c | sort -nr | more
27 192.168.204.1通过日志分析,发现攻击者使用了大量的用户名进行暴力破解,但从近段时间的系统管理员登录记录来看,并未发现异常登录的情况,需要进一步对网站服务器进行入侵排查,这里就不再阐述
3.3 处理措施
SSH暴力破解依然十分普遍,如何保护服务器不受暴力破解攻击,总结了几种措施:
- 禁止向公网开放管理端口,若必须开放应限定管理 IP 地址并加强口令安全审计(口令长度不低于 8 位,由数字、大小写字母、特殊字符等至少两种以上组合构成)。
- 更改服务器 ssh 默认端口。
- 部署入侵检测设备,增强安全防护。
0x04 应急响应实战之短连接
短连接(short connnection)是相对于长连接而言的概念,指的是在数据传送过程中,只在需要发送数据时,才去建立一个连接,数据发送完成后,则断开此连接,即每次连接只完成一项业务的发送。 在系统维护中,一般很难去察觉,需要借助网络安全设备或者抓包分析,才能够去发现。
4.1 应急场景
某天,网络管理员在出口 WAF 检测到某台服务器不断向香港I发起请求 ,感觉很奇怪,登录服务器排查,想要找到发起短连接的进程。
4.2 日志分析
登录服务器查看端口、进程,并未发现发现服务器异常,但是当多次刷新端口连接时,可以查看该连接。 有时候一直刷这条命令好十几次才会出现,像这种的短连接极难捕捉到对应的进程和源文件。
手动捕捉估计没戏,很难追踪,于是动手写了一段小脚本来捕捉短连接对应的pid和源文件。
脚本文件如下:
1 |
|
运行结果如下:
跑了三次脚本,可以发现短连接每次发起的进程 Pid 一直在变,但已经捕捉到发起该异常连接的进程源文件为 /usr/lib/nfsiod
4.3 小结
本文简单介绍了短连接以及捕捉短连接源文件的技巧,站在安全管理员的角度,应加强对网络安全设备的管理,在网络层去发现更多在系统层很难察觉的安全威胁。
0x05 应急响应实战之挖矿病毒
随着虚拟货币的疯狂炒作,利用挖矿脚本来实现流量变现,使得挖矿病毒成为不法分子利用最为频繁的攻击方式。新的挖矿攻击展现出了类似蠕虫的行为,并结合了高级攻击技术,以增加对目标服务器感染的成功率,通过利用永恒之蓝(EternalBlue)、web 攻击多种漏洞(如 Tomcat 弱口令攻击、Weblogic WLS 组件漏洞、Jboss 反序列化漏洞、Struts2 远程命令执行等),导致大量服务器被感染挖矿程序的现象 。
5.1 应急场景
某天,安全管理员在登录安全设备巡检时,发现某台网站服务器持续向境外IP发起连接,下载病毒源:
5.2 事件分析
5.2.1 排查过程
登录服务器,查看系统进程状态,发现不规则命名的异常进程、异常下载进程 :
下载 logo.jpg,包含脚本内容如下:
到这里,我们可以发现攻击者下载 logo.jpg 并执行了里面了 shell 脚本,那这个脚本是如何启动的呢?
通过排查系统开机启动项、定时任务、服务等,在定时任务里面,发现了恶意脚本,每隔一段时间发起请求下载病毒源,并执行 。
5.2.2 溯源分析
在 Tomcat log 日志中,我们找到这样一条记录:
对日志中攻击源码进行摘录如下:
1 |
|
可以发现攻击代码中的操作与定时任务中异常脚本一致,据此推断黑客通过 Struct 远程命令执行漏洞向服务器定时任务中写入恶意脚本并执行。
5.2.3 清除病毒
删除定时任务:
终止异常进程:
5.2.4 漏洞修复
升级 struts 到最新版本
5.3 防范措施
针对服务器被感染挖矿程序的现象,总结了几种预防措施:
- 安装安全软件并升级病毒库,定期全盘扫描,保持实时防护
- 及时更新 Windows 安全补丁,开启防火墙临时关闭端口
- 及时更新 web漏洞补丁,升级web组件
0x06应急响应实战之盖茨木马
Linux 盖茨木马是一类有着丰富历史,隐藏手法巧妙,网络攻击行为显著的DDoS 木马,主要恶意特点是具备了后门程序,DDoS 攻击的能力,并且会替换常用的系统文件进行伪装。木马得名于其在变量函数的命名中,大量使用 Gates 这个单词。分析和清除盖茨木马的过程,可以发现有很多值得去学习和借鉴的地方。
6.1 应急场景
某天,网站管理员发现服务器 CPU 资源异常,几个异常进程占用大量网络带宽:
6.2 事件分析
6.2.1 异常 IP连接
6.2.2 异常进程
查看进行发现 ps aux 进程异常,进入该目录发现多个命令,猜测命令可能已被替换
登录服务器,查看系统进程状态,发现不规则命名的异常进程、异常下载进程 :
6.2.3 异常启动项
进入rc3.d目录可以发现多个异常进行:
1 |
|
6.2.4 搜索病毒原体
1 |
|
从以上种种行为发现该病毒与“盖茨木马”有点类似,具体技术分析细节详见:
6.2.5 手动清除木马过程
- 简单判断有无木马
1 |
|
- 上传如下命令到 /root 下
ps netstat ss lsof
- 删除如下目录及文件
1 |
|
找出异常程序并杀死
删除含木马命令并重新安装
0x07 命令替换
7.1 RPM check 检查
系统完整性也可以通过 rpm 自带的 -Va 来校验检查所有的 rpm 软件包,有哪些被篡改了,防止 rpm 也被替换,上传一个安全干净稳定版本 rpm 二进制到服务器上进行检查
./rpm -Va > rpm.log
如果一切均校验正常将不会产生任何输出。
如果有不一致的地方,就会显示出来。
输出格式是8位长字符串,
c 用以指配置文件, 接着是文件名. 8 位字符的每一个 用以表示文件与RPM数据库中一种属性的比较结果 。
. (点) 表示测试通过。.下面的字符表示对 RPM 软件包进行的某种测试失败:
7.2 命令替换
rpm2cpio 包全名 | cpio -idv .文件绝对路径 rpm 包中文件提取
Rpm2cpio 将 rpm 包转换为 cpio 格式的命令
Cpio 是一个标准工具,它用于创建软件档案文件和从档案文件中提取文件
Cpio 选项 < [文件|设备]
-i:copy-in 模式,还原-d:还原时自动新建目录-v:显示还原过程
7.3 文件提取还原案例
1 |
|