模型权重水印提取:C2PA/JUMBF 元数据取 seed + torch.randn 同步去噪 + 通道投票还原 7×7 数字
ai-security/model-extraction · verified
一句话结论
每个 cover JPEG 的 JUMBF/C2PA 块里带 sequence_index、seed_timestamp、target_tensor=conv1.weight;对 model_i.pth 的 conv1.weight 用同 seed 的 torch.randn 乘 15 减掉,得到残差后在 [64,3] 维投票压成 7×7 位图,匹配数字模板,最后按 sequence_index 重排得到水印串。
原理
- 元数据给密钥材料:JPEG 正常结束后附着的 JUMBF 数据块中可直接搜到
com.aura.metadata、sequence_index、seed_timestamp、target_tensor、conv1.weight;不需要完整实现 C2PA 解析器,按字节正则即可提取。 - 噪声可复现:权重被污染为
residual + 15 * randn(seed_timestamp);PyTorch 的 CPUtorch.Generator().manual_seed(seed)与生成时的 PRNG 一致,因此能逐元素重建噪声并减掉。 - 残差字模:去噪后残差均值接近 0、极值约 ±3;数字不是藏在单个卷积核,而是冗余写入 64 个输出通道 × 3 个输入通道,所以在
[64,3]维对+3/-3计数投票,压成 7×7 黑白位图。 - 模板匹配 + 重排:7×7 位图与预定义数字模板(0–9)匹配;每个模型得到一个数字,按 cover 的
sequence_index排序后拼成最终手机号/水印串。
触发条件
- 有 cover 图与对应模型权重;元数据含 seed 与目标层名。
- 知道噪声模型(加性高斯)与幅度(本例 15)。
- 模型 state_dict 可
torch.load;目标层形状可读。 - 水印数字用固定 7×7 字模/模板。
利用步骤
- 读取
cover_i.jpg尾部 JUMBF 字节,正则提取sequence_index与seed_timestamp,确认target_tensor=conv1.weight。 torch.load(model_i.pth),取state_dict["conv1.weight"],形状[64,3,7,7]。- 用
torch.Generator().manual_seed(seed)生成同形状randn,residual = conv1 - 15 * noise。 residual.round()后统计(r == 3)与(r == -3),vote = pos - neg,bitmap = vote > 0得 7×7。- 与数字模板字典匹配,得到每个模型的数字;按
sequence_index升序重排。 - 拼接得到水印串/手机号,正向验证(重新加噪应接近原权重)。
PoC
import torch, numpy as np, re
from pathlib import Path
def parse_cover_metadata(path):
data = Path(path).read_bytes()
m = re.search(rb"sequence_index(?P<seq>.)nseed_timestamp\x1a(?P<seed>.{4})mtarget_tensorlconv1\.weight", data, re.S)
return m.group("seq")[0], int.from_bytes(m.group("seed"), "big")
def residual_to_bitmap(model_path, seed):
conv1 = torch.load(model_path, map_location="cpu")["conv1.weight"].float()
g = torch.Generator(device="cpu").manual_seed(seed)
residual = conv1 - 15 * torch.randn(conv1.shape, generator=g)
r = residual.round().to(torch.int32)
vote = (r == 3).sum(dim=(0, 1)) - (r == -3).sum(dim=(0, 1))
return (vote > 0).to(torch.int32).numpy()
items = []
for i in range(1, 12):
seq, seed = parse_cover_metadata(f"cover_{i}.jpg")
bitmap = residual_to_bitmap(f"model_{i}.pth", seed)
digit = match_digit_template(bitmap) # 7x7 -> 0..9
items.append((seq, digit))
print("".join(str(d) for _, d in sorted(items)))
变体与关联
- 噪声变体:均匀/拉普拉斯噪声、幅度不同、按层缩放;seed 可能在 EXIF/XMP/文件名而非 C2PA。
- 水印变体:DCT/DWT 频域水印、通道剪枝/量化索引、微调触发集;目标层可能是
fc.weight、embedding 或 LoRA 权重。 - 提取变体:若不知道噪声幅度,可用残差分布估计;若模板未知,可聚类 7×7 位图后人工标注。
- 关联卡片:[[ai-security-ai-image-provenance-c2pa-tc260-strip-tamper]](C2PA 溯源与剥离)、[[ai-security-model-extraction-encrypted-reasoning-replay-cot-theft]](模型侧信息提取)。
- 边界:若权重被二次训练/量化/剪枝,噪声残差会被破坏;若 seed 不在附件中,需要暴力搜索或统计估计。
检测与防御
- CTF/审计验证:去噪后残差应集中在 0 附近、极值约 ±3;7×7 位图应能匹配到清晰数字模板;按 seq 重排后串应符合手机号/水印格式。
- 防御:水印嵌入使用密钥化 PRNG 且 seed 不公开;模型分发加签名与完整性校验;对权重做量化/剪枝会降低水印可提取性,但也可能破坏模型。
- 检测信号:权重分布标准差异常大(如 conv1 约 15);JPEG 尾部存在 JUMBF/C2PA 块;模型与封面图成对出现。