K8s 服务器检材业务重建:Dashboard Token、PVC 宿主机路径与离线镜像导入
cloud/k8s · verified
一句话结论
拿到 K8s 服务器磁盘检材后,先在离线环境恢复控制面与节点,再用 kubectl get nodes/services/pvc 还原集群拓扑;对于起不来的业务 Pod,把 imagePullPolicy 改为 Never 并用节点上已有的镜像(或 docker load 导入离线 tar)启动,最后通过 kubectl create token 登录 Dashboard、通过 Deployment 环境变量与 PVC 的 NFS 路径读取应用配置和数据。
原理
- K8s 检材通常包含 master 与 node 的系统盘/数据盘:
/var/lib/kubelet、/var/lib/containerd或/var/lib/docker、/etc/kubernetes、etcd 数据、以及 NFS/本地 PV 目录。恢复集群后,API 对象(Deployment/Service/PVC/Secret/ConfigMap)能直接还原业务拓扑。 - Service 暴露面:
kubectl get services -A可看到 ClusterIP/NodePort/ExternalIP;案例 mysql 为 NodePort 30627、php-nginx 31669、redis 31678、dashboard 30001,这些端口是后续连接业务与判断架构的入口。 - Pod 起不来的常见原因:节点上没有镜像且
imagePullPolicy: Always,而检材环境无外网/代理失效。把策略改为Never,并在 Pod 调度到的节点上确认镜像存在;若只在另一个节点有镜像,可docker save/docker load或从镜像仓库离线导入。 - Dashboard 登录:
kubectl create token <serviceaccount> --namespace kube-system生成短期 Bearer Token,替代旧版kubectl get secret取 token;案例 ServiceAccount 为dashboard-admin。 - 配置与数据:Deployment 的
env常含数据库 root 密码、Redis 地址、应用 key;PVC 的kubectl describe pv会给出 NFS Server 与 Path(案例/data/k8s_data/default/dujiaoka),可直接在宿主机挂载点读取,或用临时 Pod 挂载 PVC。 - 服务器侧证据:
/lib/systemd/system/docker.service可看到HTTP_PROXY/HTTPS_PROXY(案例192.168.0.99:4780);/var/log/yum.log可定位 Docker 安装日期(案例 04 月 08 日);/var/log/secure可见 root 改密与登录来源。
触发条件
- 有 K8s master/node 的磁盘镜像或虚拟机快照,且能启动控制面与至少一个工作节点。
- 业务镜像/数据在节点本地或 NFS 上,外网不可用,需要离线重建。
- 需要读取的业务数据位于容器内、PVC 或数据库,且原 Pod 已停止/CrashLoopBackOff。
- 有权限执行
kubectl、docker/ctr,并能访问 kubeconfig 或 apiserver。
利用步骤
- 恢复集群:启动 master 与 node,确认
kubectl get nodes为 Ready;记录节点名、版本、角色(案例 master/node1/node2,v1.28.15)。 - 盘点对象:
kubectl get deploy,sts,ds,pod,svc,pvc,pv -A -o wide;记录 NodePort、镜像、挂载与调度节点。 - 修复镜像:对
ImagePullBackOff的 Deployment 执行kubectl edit deployment <name> -n <ns>,把imagePullPolicy改为Never;在目标节点docker images确认镜像,缺失时从其它节点docker save后docker load,或导入离线 tar。 - 起数据库与依赖:按检材中的 YAML 顺序 apply(ConfigMap/Secret/PVC/Deployment/Service);从 Deployment env 读取 root 密码,用 NodePort 连接验证。
- 挂载/读取业务数据:
kubectl describe pvc <name> -n <ns>与kubectl describe pv <pv>获取 NFS Server/Path;在宿主机对应目录读取,或创建临时 Pod 挂载 PVC(注意不要写入生产数据)。 - 登录 Dashboard:
kubectl create token dashboard-admin -n kube-system,在 Dashboard 登录页粘贴 Token;若 Dashboard 镜像缺失,同样用本地镜像 +imagePullPolicy: Never修复。 - 补服务器侧证据:检查
docker.service代理、yum.log安装时间、/var/log/secure登录/改密记录、容器运行时目录,形成时间线。
PoC
# 集群与暴露面
kubectl get nodes -o wide
kubectl get svc -A
kubectl get pod -A -o wide
kubectl get pvc,pv -A
# 修复离线镜像
kubectl edit deployment kubernetes-dashboard -n kubernetes-dashboard # imagePullPolicy: Never
docker images | grep -E 'dashboard|php-nginx|mysql|redis'
docker save webdevops/php-nginx:7.4 -o php-nginx-7.4.tar
# 在缺少镜像的节点:
docker load -i php-nginx-7.4.tar
# Dashboard Token
kubectl create token dashboard-admin --namespace kube-system
# PVC 宿主机路径
kubectl describe pvc dujiaoka -n default
kubectl describe pv <pv-name> # 查看 NFS Server / Path
# 服务器侧配置证据
grep -R "PROXY" /lib/systemd/system/docker.service
grep -i docker /var/log/yum.log
grep -E "password changed|Accepted" /var/log/secure
本卡为离线取证/恢复流程,不针对在线生产集群执行。
变体与关联
- 容器运行时可能是 containerd/CRI-O:用
ctr -n k8s.io images、crictl images替代docker。 - 集群可能使用静态 Pod、etcd 快照、外部数据库;恢复顺序与对象来源不同。
- PVC 可能是 local-path、hostPath、Ceph RBD、云盘;先看 PV 的
Source再决定挂载方式。 - 关联:[[cloud-k8s-dashboard-skip-login-cluster-admin-takeover]](Dashboard 未授权/跳过登录攻击面)、[[cloud-container-docker-privileged-host-disk-escape]](容器逃逸到宿主机磁盘)、[[defense-forensics-c2-server-sqlite-conf-artifacts]](服务端配置取证)。
- 边界:若 etcd 数据损坏、镜像与 PV 均缺失,只能从备份/快照恢复;修改 Deployment/PVC 可能改变证据状态,应先做磁盘快照或只读挂载。
检测与防御
- 集群侧:启用 RBAC 最小权限、审计日志、Secret 加密;禁止普通用户创建高权限 ServiceAccount/Token;限制 NodePort 暴露。
- 镜像侧:使用私有仓库与镜像签名,固定 digest;节点预拉取关键镜像,避免离线时不可用。
- 数据侧:PVC 使用加密存储与备份;NFS 导出限制来源 IP;敏感 env 改用 Secret 并加密。
- 取证侧:先对磁盘做只读镜像/快照,再启动集群;记录所有
kubectl edit/apply操作,避免污染证据。