Hugging Face 恶意 PyTorch 模型 pickle 反序列化:加载即反弹 Shell
ai-security/supply-chain · verified
一句话结论
PyTorch 的 .pt/.bin/.pth 模型文件通常用 pickle 序列化;攻击者把实现 __reduce__ 的恶意对象保存成“模型”上传到 Hugging Face 等模型仓库,受害者用 torch.load() 正常加载时就会执行其中的任意代码。公开仓库中已出现过这样包装成普通模型、加载后向外建立反弹 Shell 的真实恶意文件。
原理
torch.load()默认使用 Python pickle 反序列化。pickle 在还原对象时可以调用任意可调用对象与参数,__reduce__返回(callable, args)后由反序列化器执行,因此模型文件本身就是可执行载荷。- 模型文件的扩展名与内容没有强制校验;
.pt、.bin、.pth都可能包含 pickle。攻击者可以把恶意对象和真实权重张量混在同一个文件里,加载后既得到可用模型,也触发代码。 - 真实恶意样本会在反序列化时建立 socket 连接,把标准输入/输出/错误重定向到 socket,再
pty.spawn("/bin/sh")得到交互 Shell;Windows 分支则启动 PowerShell 并通过 socket 转发输入输出。 - 危害发生在“加载模型”这一常规动作中,不需要用户运行示例脚本、不需要
trust_remote_code,也不需要模型推理;只要模型来自不可信仓库且用torch.load加载即可。 - 这类载荷与模型行为后门不同:它执行的是传统代码,和模型输出是否正确无关;模型只是吸引下载和隐藏代码的外壳。
触发条件
- 受害者从公开模型仓库(Hugging Face、ModelScope 等)下载模型,并以
torch.load()/pickle.load()等不安全的默认方式加载。 - 加载进程对模型文件没有做 pickle 静态扫描、沙箱隔离或来源校验。
- 运行加载进程的用户具备网络出站能力(反弹 Shell)或本地命令执行能力。
- 攻击者能向模型仓库上传文件,并通过命名、README、下载量等诱导受害者下载。
利用步骤
- 构造一个
__reduce__返回恶意可调用对象与参数的类,将其与正常模型权重一起序列化,保存为.pt/.bin/.pth。 - 在 Hugging Face 等平台创建仓库,文件名、README、目录结构模仿正常模型;可用近似官方名称、热门任务名或“量化/微调版本”提高可信度。
- 诱导受害者下载并按常规方式加载,例如
model = torch.load("pytorch_model.bin")或框架自动加载模型目录。 - 反序列化触发 payload:建立外连、反弹 Shell、下载二阶段或写入持久化。
- 授权测试中只用
id/touch等无害命令验证代码执行,不连接真实 C2;真实恶意样本的攻击者地址仅作为 IOC 记录。
PoC
最小化 pickle 载荷(仅验证代码执行,不发起网络连接):
import pickle
import os
class EvilModel:
def __reduce__(self):
return (os.system, ("id > /tmp/pickle_model_pwned",))
with open("evil.pt", "wb") as f:
pickle.dump(EvilModel(), f)
import torch
torch.load("evil.pt") # 反序列化时执行 os.system
真实恶意样本的模式(文字描述):Linux 分支创建 socket 连接攻击者地址和端口,os.dup2 把 0/1/2 重定向到 socket,再 pty.spawn("/bin/sh");Windows 分支启动 powershell.exe,用线程在 socket 与进程标准流之间转发数据。公开报告中的样本为伪装成普通 PyTorch 模型的仓库,加载即触发。
变体与关联
- 变体:扩展名换成
.bin、.pth、.ckpt、.pt;载荷藏在 LoRA/Adapter、Tokenizer、优化器状态、训练检查点中。 - 变体:与
trust_remote_code=True的自定义 modeling 文件组合,模型目录中的 Python 代码也会被执行。 - 变体:用
safetensors伪装(实际仍是 pickle 文件)、用近似官方仓库名/作者名做 typosquatting、在 README 中提供“一键加载”脚本。 - 关联卡片:[[ai-security-supply-chain-python-pth-addsitedir-model-disguise]](同为模型仓库投毒,但利用
.pth+site.addsitedir而非 pickle)、[[ai-security-supply-chain-vllm-auto-map-trust-remote-code-bypass]](模型加载信任边界绕过)、[[web-python-framework-rasa-malicious-model-dialogue-hijack]](恶意模型替换对话行为)。 - 关联:通用 Python pickle 反序列化链可提供更复杂的 gadget;本卡的重点是模型分发场景与“加载即执行”的触发方式。
检测与防御
- 防御:加载不可信模型时使用
torch.load(..., weights_only=True)(新版本默认更安全),或改用safetensors等不含可执行代码的格式。 - 防御:对模型文件做 pickle 静态扫描(如 Fickling、ModelScan),检查
__reduce__、GLOBAL/STACK_GLOBAL、os.system、subprocess、socket等可疑 opcode/字符串;扫描后再决定是否加载。 - 防御:模型下载与加载放在沙箱/容器中,默认拒绝出站网络,限制文件系统与凭据;高风险模型先在隔离环境验证。
- 防御:固定模型 revision/commit,校验 hash 与签名;只从可信发布者/组织下载;对近似官方名称的仓库做来源核验。
- 检测:模型加载进程出现异常子进程(
sh、bash、powershell)、对外连接、DNS 查询;模型文件中出现 pickle 可执行 opcode 或与权重无关的 Python 对象;加载后产生计划任务/启动项。 - 响应:隔离并删除恶意模型,阻断 C2 地址,排查加载进程的凭据与外连,轮换可能泄露的密钥,审计同一下载源的其他模型。