PGD 对抗训练缓解数据投毒:干净样本 + 对抗样本联合损失,降低标签翻转/清洁标签攻击影响
ai-security/data-poisoning · verified
一句话结论
在训练每个 batch 时用 PGD 在 ε 球内生成对抗样本,并联合优化“干净样本损失 + λ×对抗样本损失”,可以迫使模型学习对微小输入扰动不敏感的特征,从而降低标签翻转、清洁标签等依赖细微特征/扰动的投毒攻击效果;代价是训练成本约翻倍,干净精度可能小幅下降,且并非对自适应投毒免疫。
原理
- 鲁棒优化目标:普通训练最小化
E[L(f(x), y)];对抗训练求解min_θ E[max_{||δ||≤ε} L(f(x+δ), y)],即把每个样本最坏扰动下的损失纳入优化。内层最大化用 PGD(投影梯度下降)近似:沿损失对输入的梯度符号方向迭代上升,每步投影回 ε 球,并裁剪到合法像素范围。 - 为什么能缓解投毒:
- 清洁标签攻击常依赖对输入施加细小、定向的扰动,把样本在特征空间推向目标类;对抗训练让模型对这类小扰动不敏感,削弱其效果。
- 标签翻转攻击利用模型对错误标签的过拟合;联合干净/对抗样本训练改变决策边界平滑度,降低模型对局部噪声标签的敏感度(这一效果依赖投毒比例与训练设置,并非普遍保证)。
- 本质上,对抗训练学到的特征更依赖全局、稳定的模式,而不是触发器/局部伪特征。
- 代价与边界:PGD 每步都要前向+反向,训练成本约为普通训练的
iters倍;ε 越大鲁棒性越强但干净精度越低;对抗训练主要针对“小扰动”类攻击,对语义触发器、分布式触发器、数据注入式投毒不一定有效;自适应攻击者可以把投毒样本做得对对抗训练也鲁棒。 - 参数经验:原文示例
eps=0.3、alpha=0.01、iters=40(MNIST 像素 0–1),联合损失为clean_loss + adv_loss(等价 λ=1);实际需按数据集/模型调 ε、α、λ,过大的 ε 会显著损害干净精度。
触发条件
- 防御方控制训练流程,能在每个 batch 上额外做 PGD 前向/反向;有足够 GPU 预算。
- 已知或怀疑训练数据存在标签翻转/清洁标签类投毒;有干净测试集用于评估。
- 输入是连续型(图像/音频/嵌入),可以定义 ε 球和投影;离散文本需要其它对抗训练变体。
- 攻击者不能自适应地针对对抗训练重新设计投毒样本;否则防御效果会下降。
利用步骤
- 训练基线模型,记录干净测试集准确率与投毒测试集(目标类/后门)准确率,作为对照。
- 实现 PGD 生成器:
x_adv = x + α·sign(∇_x L(f(x), y)),每步clip(x_adv, x-ε, x+ε)且clip(0,1),迭代iters次;每步 detach 后重新requires_grad_。 - 训练时对每个 batch 同时计算
loss_clean = CE(f(x), y)与loss_adv = CE(f(x_adv), y),总损失loss_clean + λ·loss_adv,反向更新。 - 在干净测试集与投毒测试集上评估:干净精度下降应可控(原文示例 97.1%→96.8%),投毒集目标类准确率应提升(原文示例 64.5%→90.2%)。
- 调整 ε/α/iters/λ:先小 ε 保证干净精度,再逐步增大;若投毒集仍差,检查攻击类型是否属于对抗训练覆盖范围。
- 与数据溯源、异常检测、后门扫描组合使用;对抗训练不是单独的解药。
PoC
import torch
import torch.nn as nn
from torch.utils.data import DataLoader
def pgd_attack(model, x, y, eps=0.3, alpha=0.01, iters=40):
x_adv = x.clone().detach().requires_grad_(True)
for _ in range(iters):
loss = nn.CrossEntropyLoss()(model(x_adv), y)
model.zero_grad()
loss.backward()
x_adv = x_adv + alpha * x_adv.grad.sign()
x_adv = torch.clamp(x_adv, x - eps, x + eps)
x_adv = torch.clamp(x_adv, 0, 1)
x_adv = x_adv.detach().requires_grad_(True)
return x_adv
def adversarial_train(model, dataset, epochs=5, lr=1e-3, eps=0.3, lam=1.0):
loader = DataLoader(dataset, batch_size=64, shuffle=True)
criterion = nn.CrossEntropyLoss()
opt = torch.optim.Adam(model.parameters(), lr=lr)
model.train()
for _ in range(epochs):
for x, y in loader:
x_adv = pgd_attack(model, x, y, eps=eps)
loss = criterion(model(x), y) + lam * criterion(model(x_adv), y)
opt.zero_grad(); loss.backward(); opt.step()
return model
评估时分别统计干净测试集准确率与投毒测试集(目标类/触发器)准确率,避免只看整体指标。
变体与关联
- TRADES:把鲁棒损失拆成“干净分类损失 + 正则项(KL 散度)”,通常比朴素对抗训练有更好的精度-鲁棒性权衡。
- 针对后门的对抗训练:用触发器模式/后门样本做对抗训练,或把触发器的存在作为最坏情况扰动;但触发器空间通常大于 ε 球,效果有限。
- 数据增强/平滑:高斯噪声、CutMix、MixUp 等可提升对局部扰动的鲁棒性,但不等价于对抗训练。
- 自适应攻击:攻击者可在投毒优化中把对抗训练加入目标,构造“鲁棒投毒”;防御需结合数据审计与模型扫描。
- 关联:[[ai-security-data-poisoning-label-flipping-clean-test-degradation]]、[[ai-security-data-poisoning-clean-label-trigger-target-class]]、[[ai-security-data-poisoning-badnet-trigger-patch-target-label]](被防御的攻击)、[[ai-security-data-poisoning-gradient-saliency-pruning-backdoor-removal]](另一种后门清除思路)。
检测与防御
- 评估指标:同时报告干净测试集准确率、目标类/触发器测试集准确率、整体投毒集准确率;只看整体精度会漏掉定向破坏。
- 训练侧:PGD 对抗训练、TRADES、输入平滑/增强;保留干净验证集与投毒回归测试。
- 数据侧:来源审计、标签一致性/近邻检查、异常样本检测、去重与可信数据源白名单。
- 模型侧:后门扫描(Neural Cleanse/STRIP/激活聚类)、剪枝/微调清除;对抗训练与这些手段组合使用。
- 注意:对抗训练会改变模型行为与精度,部署前需在业务分布上回归;不要把它当作对全部数据投毒的万能防御。