FGSM 单步对抗攻击:ε·sign(∇xL) 沿损失上升方向扰动像素,快速改变模型预测
ai-security/adversarial-examples · verified
一句话结论
FGSM(Fast Gradient Sign Method)对输入求一次损失梯度,沿梯度符号方向给每个像素加 ε·sign(∇xL),再裁剪回合法像素范围,就能在 L∞ 扰动不超过 ε 的前提下让白盒模型改变预测;它只需一次前向+反向,速度快、实现简单,但属于单步无目标攻击,强度通常不如迭代式 PGD/BIM。
原理
- 一阶泰勒展开:
L(θ, x+δ) ≈ L(θ, x) + ∇xL(θ, x)·δ。在||δ||∞ ≤ ε约束下,要让损失增加最多,δ 应取每个维度的边界:δ = ε·sign(∇xL)。这就是 FGSM 的闭式解。 - 为什么用 sign:L∞ 约束下每个像素的扰动上限都是 ε;取符号可以让所有像素同时顶到 ±ε,方向由梯度决定,既最大化一阶损失增量,又保持扰动在视觉上相对均匀、不易察觉。
- 无目标 vs 有目标:无目标攻击用真实标签算损失并加上
ε·sign(∇xL)(让损失变大);有目标攻击用目标标签算损失并减去ε·sign(∇xL)(让目标类损失变小),或直接最小化目标类损失。 - 裁剪与归一化:生成后要
clamp(x+δ, 0, 1)(或模型输入合法范围);如果模型训练时用了 ImageNet 均值/方差归一化,扰动应在同一输入空间计算,并保证反归一化后仍在合法范围。否则模型可能因输入分布不匹配而本来就不准,干扰攻击效果评估。 - 为什么能迁移:FGSM 利用的是模型决策边界的局部梯度方向;同一任务的不同模型往往有相似的梯度方向,因此白盒生成的对抗样本常能迁移到黑盒模型(迁移攻击),但成功率低于白盒。
- 边界:需要可求梯度的白盒模型或替代模型;对离散输入(文本/token)不能直接逐像素加扰动;对抗训练、输入随机化/压缩等防御会降低成功率;梯度掩码(gradient masking)会让 FGSM 看似失效,但不代表模型真正鲁棒。
触发条件
- 攻击者可访问目标模型的梯度(白盒:本地权重/可微 API),或能训练一个替代模型做迁移。
- 输入是连续的(图像、音频、嵌入向量),可以定义 L∞ 扰动和合法范围。
- 模型未做对抗训练/输入预处理等鲁棒化,或防御强度低于扰动预算。
- 攻击者只关心“让预测改变”(无目标),不要求指定错误类别;若要定向,需要目标标签与 targeted 变体。
- 有干净样本与真实标签用于计算损失和评估。
利用步骤
- 加载目标模型并
eval();按训练时相同的方式预处理图片(Resize/CenterCrop/ToTensor/归一化),得到x。 x.requires_grad_(True);前向logits = model(x);用真实标签计算交叉熵loss = CE(logits, y)(无目标)。model.zero_grad(); loss.backward(),取x.grad;生成δ = ε * x.grad.sign()。x_adv = clamp(x + δ, 0, 1)(若使用归一化,先反归一化到像素空间再裁剪,或按模型输入范围裁剪)。- 预测
x_adv,与真实标签比较判断是否误分类;不要只用“原始预测 != 对抗预测”作为成功标准——如果原始预测本来就错,这个比较会误报成功。 - 可视化原始图、对抗图、扰动(可放大)、差异图;记录 ε、L∞、L2 与预测变化。
- 若需要更强攻击,改用迭代 FGSM/BIM/PGD(多步、每步裁剪到 ε 球),或 targeted FGSM。
PoC
import torch
import torch.nn as nn
from torchvision import models, transforms
from PIL import Image
model = models.resnet18(weights=models.ResNet18_Weights.IMAGENET1K_V1).eval()
transform = transforms.Compose([
transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(),
])
x = transform(Image.open("cat.jpg")).unsqueeze(0)
y = torch.tensor([282]) # 示例 ImageNet 类别(猫);按实际标签替换
x.requires_grad_(True)
loss = nn.CrossEntropyLoss()(model(x), y)
model.zero_grad(); loss.backward()
eps = 0.03
x_adv = torch.clamp(x + eps * x.grad.sign(), 0, 1)
with torch.no_grad():
pred_clean = model(x).argmax(1).item()
pred_adv = model(x_adv).argmax(1).item()
print("clean:", pred_clean, "adv:", pred_adv, "true:", y.item())
print("attack success (against ground truth):", pred_adv != y.item())
print("Linf:", (x_adv - x).abs().max().item())
有目标变体只需把损失换成目标类 y_target 并改为 x - eps * grad.sign()(或最小化目标类损失)。
变体与关联
- Targeted FGSM:用目标类标签算损失,沿负梯度方向扰动,使模型输出指定类别。
- BIM / PGD:多步迭代,每步
x = clamp(x + α·sign(∇xL), x-ε, x+ε),通常比单步 FGSM 更强;见 [[ai-security-adversarial-examples-pgd-targeted-ssim-budget]]。 - MI-FGSM / 迁移攻击:加入动量、模型集成,提高黑盒迁移成功率。
- 物理世界/打印攻击:把扰动做成贴纸/纹理,考虑光照、视角与相机噪声。
- 防御:对抗训练(PGD/TRADES)、输入随机化/压缩、特征去噪、梯度掩码(仅为混淆)、 certified robustness;对抗训练会降低 FGSM 成功率,但代价是干净精度/训练成本。
- 关联:[[ai-security-adversarial-examples-topk-pixel-mask-adam]](限像素攻击)、[[ai-security-data-poisoning-pgd-adversarial-training-defense]](PGD 对抗训练防御)。
检测与防御
- 评估陷阱:文章示例中模型对原图已预测为 457(真实标签 282),对抗后变为 669,脚本用
original_pred != adversarial_pred判定“攻击成功”;这在原图已错时会误报。正确做法是与真实标签/目标类比较,并报告干净样本准确率与攻击成功率。 - 防御:对抗训练、输入预处理(JPEG 压缩、随机缩放/裁剪、总变差去噪)、集成模型、限制梯度/模型访问;不要把梯度掩码当作可靠防御。
- 检测:监控输入扰动的 L∞/高频噪声异常、模型置信度突变、同一输入多次随机化预测不一致;对高风险模型做红队对抗测试。
- 安全认知:FGSM 说明“高准确率 ≠ 鲁棒”;在自动驾驶、人脸验证等场景,需把对抗鲁棒性纳入验收指标。