联邦学习梯度反演:可控参数令 grad_W/grad_b = 输入,仿射校准 + 按列中位数抗噪
ai-security/model-extraction · verified
一句话结论
联邦系统允许上传自定义参数并下载梯度;设 w1=0、b1=1 使第一层 ReLU 全导通、w2=±10 放大有效梯度,则 ∂L/∂W1_i / ∂L/∂b1_i ≈ x;对每行用已知 flag{/} 位置拟合仿射变换,16 行按列取中位数即恢复输入。
原理
- 第一层梯度结构:对全连接
h = ReLU(W1·x + b1),∂L/∂W1_i = δ_i · x,∂L/∂b1_i = δ_i,其中δ_i = ∂L/∂h_i。两者相除消去δ_i,直接得到输入x。 - 可控参数消除非线性:
w1=0时第一层预激活只剩b1=1,恒大于 0,ReLU 不会把任何神经元置零;w2=±10放大输出对隐藏层的梯度,使有效信号远大于差分隐私噪声。 - 噪声与校准:导出的
noisy_grad_w1/noisy_grad_b1带噪,逐行比值r_i会有比例/常数偏差;输入是 17 维flag{...},前 5 位flag{与最后 1 位}已知,可用最小二乘为每行拟合s_i = a_i·r_i + b_i。 - 中位数抗噪:16 个隐藏神经元给出 16 个校正后的候选向量;按列取中位数再 round,能抹平个别行的噪声/异常值。
触发条件
- 联邦/协同训练系统允许客户端上传自定义模型参数。
- 训练后可下载梯度 JSON(含
grad_w1/grad_b1)。 - 模型结构/输入维度已知;输入有固定前缀/后缀或格式约束。
- 差分隐私噪声有限,或可通过放大梯度量级压制。
利用步骤
- 确认模型结构:
W1: 16×17、b1: 16、W2: 1×16、b2: 1,输入维度 17。 - 上传参数
w1=0、b1=1、w2=[10,-10,10,-10,...]、b2=0;触发一次训练。 - 下载梯度 JSON,读
noisy_grad_b1(16)与noisy_grad_w1(16×17)。 ratios = gw / gb[:, None];对每行用已知位置[0,1,2,3,4,16]与字符flag{}拟合s = a*r + b。- 校正后按列取中位数、round 转 ASCII,得到完整输入;去掉
flag{}取中间答案。 - 若噪声较大,增加
w2幅度/重复训练取平均,或改用优化式反演。
PoC
import json, numpy as np
data = json.load(open("branch_gradient.json", encoding="utf-8"))
gb = np.array(data["noisy_grad_b1"], dtype=float) # (16,)
gw = np.array(data["noisy_grad_w1"], dtype=float) # (16,17)
ratios = gw / gb[:, None]
known_idx = [0, 1, 2, 3, 4, 16]
known_val = np.array([ord(c) for c in "flag{}"], dtype=float)
rows = []
for r in ratios:
X = np.vstack([r[known_idx], np.ones(len(known_idx))]).T
a, b = np.linalg.lstsq(X, known_val, rcond=None)[0]
rows.append(a * r + b)
final_ascii = np.rint(np.median(np.array(rows), axis=0)).astype(int)
print("".join(chr(x) for x in final_ascii))
变体与关联
- 结构变体:卷积层/多层网络/Transformer;可控制部分层参数;梯度可能只给部分层。
- 噪声变体:差分隐私高斯/拉普拉斯噪声、梯度裁剪、安全聚合;噪声大时需多次平均或优化反演(DLG/Inverting Gradients)。
- 校准变体:已知前缀/后缀、字符集、长度、校验位;也可用相邻行一致性/低秩约束。
- 关联卡片:[[ai-security-model-extraction-encrypted-reasoning-replay-cot-theft]](模型侧信息提取)、[[ai-security-rag-security-embedding-inversion-leaked-vector-store]](嵌入反演)。
- 边界:若服务端拒绝自定义参数、只返回聚合梯度、或噪声/裁剪足够强,本链不成立;若
b1梯度被置零,无法做比值。
检测与防御
- CTF/审计验证:恢复结果应满足
flag{}外壳与可打印字符;用已知位置校准后各列中位数应稳定。 - 防御:不接受客户端自定义模型参数(或只允许白名单);梯度裁剪 + 差分隐私 + 安全聚合;限制梯度下载频率与精度;输入去标识化。
- 检测信号:客户端上传全零/常量权重与极端
w2;短时间多次训练下载梯度;梯度 JSON 中b1与w1呈明显比例关系。