♧ Godown 安全知识树

DLG 梯度泄露:LBFGS 反演单样本训练图 + 末层偏置梯度 argmin 还原标签

ai-security/model-extraction · verified

一句话结论

截获联邦学习客户端上传的逐样本梯度后,在已知模型结构与全局权重的前提下,用 LBFGS 优化随机初始化的虚拟输入,使「虚拟输入算出的梯度」逐层逼近真实梯度,就能几乎完整还原训练图片;同时交叉熵对末层偏置的梯度满足 ∂L/∂b = p - y,取最小分量 argmin 即真实标签,30 个标签的 ASCII 码可直接拼出 flag。

原理

  • 梯度是数据的可微函数:模型参数 θ 固定时,梯度 ∇θ L(f(x), y) 完全由输入 x、标签 y、模型参数决定。把虚拟输入 x' 设为优化变量,最小化 ‖∇θ L(f(x'), y) - ∇θ*‖²,单样本、全参数梯度提供了足够多的方程约束,可把 x' 拉回真实输入。
  • 标签从末层偏置梯度恢复:softmax + 交叉熵下,末层偏置梯度为 ∂L/∂b_i = p_i - y_i。真实类满足 p_true - 1 ∈ [-1, 0),错误类 p_i ∈ [0, 1),因此真实标签恒为末层偏置梯度中的最小分量,argmin 即可读出,无需先知道标签。
  • 为什么用 LBFGS:每个样本只有一个梯度文件,数据量极小,SGD/Adam 收敛极慢;LBFGS 是拟牛顿二阶方法,内部带线搜索,能根据曲率调整步长,迭代次数少、收敛快。它要求把 loss/grad 计算封装为闭包 closure() 反复调用。
  • 恢复效果:图片像素级几乎完全还原,但本例的 flag 不在图片里,而在恢复出的标签序列中(前几个 ASCII 为 102/108/97/103,即 flag)。

触发条件

  • 攻击者能截获客户端上传的梯度(恶意服务器、中间人、日志/存储泄露),且梯度未加密、未加噪。
  • 攻击者知道或能复现模型结构与当前全局权重。
  • 梯度针对单个样本(batch size 1)计算;batch 越大,单图恢复越困难。
  • 没有安全聚合(SecAgg)、差分隐私噪声或足够强的梯度裁剪。

利用步骤

  1. 加载全局权重与截获的梯度文件(每个文件对应一个样本)。
  2. 对每个梯度取最后一个参数(末层偏置)的梯度,argmin 得到真实标签。
  3. 随机初始化虚拟输入 weights(形状与真实输入一致),requires_grad=True。
  4. 用 LBFGS([weights], lr=0.01);闭包内:前向计算 model(weights),用恢复标签算交叉熵,autograd.grad(..., create_graph=True) 得到虚拟梯度,与真实梯度逐层求 MSE,loss.backward(),返回 loss。
  5. 迭代至 loss < 1e-6,把 weights 转 PIL 保存为还原图片。
  6. 把所有恢复标签按 ASCII 拼接,得到隐藏信息。

PoC

import torch
from torch import nn
import torch.nn.functional as F

def grad_loss(cur, target):
    return sum(F.mse_loss(c, t) for c, t in zip(cur, target))

criterion = nn.CrossEntropyLoss()
weights = torch.randn(1, 3, 32, 32, requires_grad=True)  # 虚拟输入,即优化变量

for i in range(30):
    target = torch.load(f"./{i}.pt", map_location="cpu")
    label = torch.argmin(target[-1])          # 末层偏置梯度 -> 真实标签
    opt = torch.optim.LBFGS([weights], lr=0.01)

    def closure():
        opt.zero_grad()
        out = model(weights)
        y = criterion(out, label.unsqueeze(0))
        cur = torch.autograd.grad(y, model.parameters(), create_graph=True)
        loss = grad_loss(cur, target)
        loss.backward()
        return loss

    for _ in range(500):
        opt.step(closure)
        if closure().item() < 1e-6:
            break
    # ToPILImage()(weights.detach().squeeze(0).clamp(0, 1)).save(f"{i}.png")

变体与关联

  • 批大小变体:batch>1 时可用 Inverting Gradients、GradInversion,或按标签分组做多图联合优化。
  • 有噪声/裁剪:DP-SGD 的噪声会破坏可辨识性;噪声较小时可多轮平均、正则化或利用图像先验。
  • 架构变体:CNN、Transformer、文本/表格输入同样适用,只要攻击者能定义可微的虚拟输入。
  • 关联卡片:[[ai-security-model-extraction-federated-gradient-inversion]] 是同一隐私威胁的解析式解法(可控参数令 grad_W/grad_b≈x);本卡是优化式 DLG,并给出末层偏置 argmin 读标签的技巧。
  • 关联方向:[[ai-security-data-poisoning-federated-backdoor-weight-scaling]] 是联邦学习中的完整性攻击,本卡是机密性攻击。

检测与防御

  • 安全聚合:服务器只能看到聚合后的梯度,无法获得单客户端梯度,可从根上阻断。
  • 差分隐私:DP-SGD 的梯度裁剪 + 足够大的高斯噪声,显著降低反演可辨识度。
  • 增大 batch:客户端用大批次计算梯度,单样本信号被混合。
  • 梯度压缩/量化/低秩:减少上传的信息量,但需评估是否仍可反演。
  • 检测信号:同一客户端反复上传单样本梯度;梯度下载/上传频率异常;服务端记录并审计梯度访问。
  • 部署侧:不把逐样本梯度暴露给不可信方;使用 TEE 或可信聚合器。