Linux Web 服务器入侵应急排查清单:UID0/登录用户/sudoers、隐藏与近期文件、rc.d/init.d、crontab、systemd、软件包
defense/incident-response · verified
一句话结论
Linux Web 服务器被入侵(篡改/WebShell/跳转)后,按固定顺序做主机排查:先备份 .bash_history 等证据,再依次查网络连接与进程、UID 0/可登录/sudo 用户、敏感目录隐藏文件与近期访问文件、SysV 启动项(rc*.d/init.d/rc.local)、各用户 crontab、systemd enabled 单元与软件包;每条线索都要与管理员确认,发现可疑项按「先断进程、再删文件/配置、最后复查」处置。
原理
- 攻击者通常留下多层痕迹:WebShell/不死马、后门账号、隐藏文件、启动脚本、计划任务、服务自启可能同时存在;只清理一处会复燃。
- 网络/进程:
netstat -antp对照管理员开放端口,异常监听/外联(如陌生 IP 连入非业务端口)用ls -l /proc/<pid>/exe确认实际程序;top/ps aux发现异常用户占用与可疑命令行。 - 用户层:
awk -F: '$3==0{print $1}' /etc/passwd查 UID 0 隐藏账户;awk '/\$1|\$6/{print $1}' /etc/shadow查可密码登录账户;grep -v '^#\|^$' /etc/sudoers | grep 'ALL=(ALL)'查 sudo 权限。可疑账号先usermod -L锁定,再userdel -r删除(连同家目录)。 - 文件层:
ls -al /tmp找.shell.php、..shell/等隐藏文件/目录;find <dir> -iname "*" -atime 1 -type f按访问时间找近一天被动过的文件;WebShell 查杀工具(如河马./hm scan /www/wwwroot/)输出result.csv后要人工复核,同名.png也可能是 PHP 后门。 - 启动层:
runlevel确认运行级别;/etc/rc.local是否被追加命令;/etc/rc5.d/是否有无对应软件包的S*脚本(本案S666shell -> /etc/init.d/shell.sh);/etc/init.d下异常脚本。 - 计划任务:
crontab -l -u <用户>逐用户查(含www;www是 Web 服务账号,不可误删),crontab -l查 root;关注while true、写 shell、下载执行等条目;精确删除用crontab -e -u <用户>,全清用crontab -r [-u <用户>]。 - 服务/软件包:
systemctl list-unit-files | grep enabled比全量列表更快;对可疑*.service看/etc/systemd/system/<svc>的ExecStart,kill 进程后systemctl disable并删除单元文件;rpm -qa/dpkg -l查非管理员安装的包。 - 为什么按顺序:先固定证据(历史命令、日志、进程/网络快照),再处置;先杀进程/断持久化再删文件,避免不死马/cron 复燃;每条结论与管理员核对,防止误删正常服务。
触发条件
- 已确认或高度怀疑 Linux Web 服务器被入侵(首页篡改、WebShell、异常外联、CPU 异常等)。
- 具备 root/等效权限与 SSH 访问,能执行排查命令。
- 有管理员可确认哪些账号/服务/端口/文件是正常业务。
- 日志与文件未被攻击者完全清除(否则需从备份/流量设备补证)。
利用步骤(排查顺序)
- 证据固定:
cp .bash_history shell_sw、cp /root/.bash_history /root/shell_root;保存ps aux、netstat -antp、crontab -l、systemctl list-unit-files输出与时间戳。 - 网络与进程:
netstat -antp对照开放端口;ls -l /proc/<pid>/exe核实程序路径;top、ps aux | grep <用户>找异常进程与命令行。 - 用户:UID 0、shadow 可登录、sudoers 三连;可疑账号
usermod -L→ 确认 →userdel -r;家目录一并处理。 - 文件:
ls -al /tmp、/dev/shm、Web 目录隐藏文件;find ... -atime 1找近期文件;WebShell 查杀 +result.csv复核。 - 启动项:
runlevel、/etc/rc.local、/etc/rc*.d、/etc/init.d;发现可疑S*链接先看目标脚本,再删链接与脚本。 - 计划任务:逐用户
crontab -l -u与 root;记录并删除恶意条目。 - 服务与包:
systemctl list-unit-files | grep enabled、可疑 unit 文件、rpm -qa/dpkg -l复核。 - 复查与加固:重启后再查进程/文件/计划任务/启动项;修补入口漏洞、上 WAF/补丁、轮换凭据。
PoC
# 证据
cp ~/.bash_history shell_sw; sudo -s; cp /root/.bash_history /root/shell_root
# 网络/进程
netstat -antp
ls -l /proc/<pid>/exe
top; ps aux | grep www
# 用户
awk -F: '$3==0{print $1}' /etc/passwd
awk '/\$1|\$6/{print $1}' /etc/shadow
grep -v '^#\|^$' /etc/sudoers | grep 'ALL=(ALL)'
usermod -L <user>; userdel -r <user>
# 文件
ls -al /tmp
find /opt -iname "*" -atime 1 -type f
./hm scan /www/wwwroot/ && cat result.csv
# 启动项
runlevel
cat /etc/rc.local
ls /etc/rc5.d/
ls -l /etc/rc5.d/S666shell
cat /etc/init.d/shell.sh
# 计划任务
crontab -l -u <user>; crontab -l
# systemd / 软件包
systemctl list-unit-files | grep enabled
cat /etc/systemd/system/<svc>.service
rpm -qa # CentOS
dpkg -l # Ubuntu/Debian
说明:命令来自文中实验流程,<pid>/<user>/<svc> 为占位;未在生产环境执行。
变体与关联
- [[defense-incident-response-process-immortal-webshell-kill-writer]]:本清单第 4/6/5 步遇到不死马时的专门处置顺序。
- [[pentest-persistence-linux-passwd-uid0-hidden-user]]:UID 0 隐藏账户的植入手法,对应本清单的用户排查。
- [[pentest-persistence-linux-cron-reverse-shell]]:cron 持久化手法,对应计划任务排查。
- [[defense-incident-response-linux-c2-watchdog-cleanup-order]]、[[defense-incident-response-linux-ssh-bruteforce-sshd-backdoor-mining-kinsing]]:其他 Linux 应急场景,可与本清单组合。
- 变体:发行版差异(CentOS
rpm/chkconfig/rc.dvs Ubuntudpkg/systemd);容器环境需额外查镜像层与挂载卷;宝塔等面板需查其计划任务与面板日志。 - 边界:攻击者清空日志/历史、使用 rootkit 隐藏进程/文件、或系统为只读容器时,需借助外部流量/EDR/备份取证。
检测与防御
- 检测:FIM 监控 Web 目录/
/etc//tmp异常变更;auditd 监控crontab、/etc/rc*.d、/etc/init.d、systemdunit 文件;EDR 监控www-data起 shell、异常while true写文件。 - 检测:定期跑本清单(用户/启动项/cron/服务/包)并基线化,发现新增 UID 0、可登录账号、sudo 条目、启动脚本、enabled 服务。
- 防御:最小权限(Web 用户不可写代码目录、上传目录禁执行);禁用不需要的编译/解释器;补丁与 WAF;SSH 限源与密钥登录;日志集中到远端。
- 响应:按清单顺序处置并复查;重启验证;轮换所有可能泄露的凭据。