♧ Godown 安全知识树

GPTFuzzer:奖励模型 + KL 惩罚的 PPO 微调 GPT,逐 token 生成绕过 WAF 的 payload

ai-security/adversarial-examples · verified

一句话结论

GPTFuzzer 把攻击 payload 当成一种“攻击语言”的句子:先用 2 万–20 万条 payload 预训练一个 GPT(Transformer Decoder)语言模型,再用 2000–4000 条经目标 WAF 标注(拦截/绕过)的样本训练奖励模型来预测绕过概率,最后用 PPO + KL 散度惩罚微调策略网络,逐 token 生成 SQLi/XSS/RCE payload 做黑盒 WAF 测试;论文报告其在 ModSecurity、Naxsi 上的绕过效率明显优于基于变异的 ML-Driven 和基于搜索的 RAT,并能生成攻击语法之外的新 payload。

原理

  • 解决什么痛点:基于变异的方法依赖专家编写的攻击语法/变异算子,容易过时且受初始 payload 限制;基于搜索的方法(如 RAT)需要数百万 payload 的池子做密集采样,且贪心搜索易陷局部最优。生成式方法直接从 token 级学习“什么样的 payload 既符合攻击语法又能绕过 WAF”,不需要显式语法,也只需 20K–200K 的语料。
  • 数据收集与预处理:人工收集(论文/开源/工具生成数据集)与攻击语法生成(把 SQLi 等攻击写成文法,随机遍历解析树采样)结合;预处理把每条 payload 拆成 token 序列,经 token-integer 字典转成整数序列 payload → token sequence → integer sequence。图中示例 (0%0band%0bnot~false%23) 即由文法树随机生成的布尔型 SQLi。
  • 语言模型预训练:token 词嵌入 + 位置编码送入多层 Transformer Decoder,做 next-token 预测。预训练让模型学会攻击 payload 的隐式语法,保证生成的串“像”有效攻击,而不是随机字符。Transformer 的多头自注意力比 RNN 更适合这种长程依赖的生成任务。
  • 奖励模型(RM):直接拿 WAF 的“拦截/绕过”二值结果做 RL 奖励,初期信号稀疏、学习效率低。论文从数据集中取 2000–4000 条 payload 喂给 WAF 得到标签,用预训练模型参数初始化并在顶部加奖励预测头,训练 RM 预测“某条 payload 绕过 WAF 的概率”。训练好后,RL 阶段不再与真实 WAF 交互,RM 充当环境的代理,给出更稠密、更稳定的奖励。
  • 强化学习微调:建模为马尔可夫决策过程——状态是已生成的 token 前缀,动作是下一个 token,策略 π 由预训练 GPT 初始化(带语言建模头与价值头)。用 PPO 训练,避免单步更新把策略带偏;对每个中间步计算与参考模型之间的 KL 散度并作为惩罚,既防止策略漂移、又缓解局部最优;期望回报由 RM 提供。当连续 epoch 的平均奖励趋于稳定时停止。
  • payload 生成:从 <start> 开始,按策略网络输出的概率分布采样下一个 token,追加到序列,直到 <end> 或最大长度 T_max;生成的序列再交给真实 WAF 验证。
  • 为什么能绕过:WAF 规则多基于 token/字符模式匹配;生成模型学到合法攻击语法的分布后,会把空白、注释、编码等价形式(如 %0b、%23)等 token 重组成语法仍有效、但不命中既有规则的变体。RL 的奖励把采样推向“绕过区域”,KL 约束又保证输出不会退化成无意义乱码。
  • 论文结果:在 SQLi/XSS/RCE 三类攻击、ModSecurity/Naxsi 两个开源 WAF 上,TP(绕过 payload 数)随请求数增长曲线比 ML-Driven E、RAT 更陡;RM 引导的 RL 优于直接用 WAF 反馈的 RL;500K 生成样本中 SQLi-ModSecurity 有 2818 条新 payload、其中 1080 条绕过;SQLi-Naxsi 有 44017 条新 payload、17924 条绕过。

触发条件

  • 目标 WAF 为黑盒:只能提交 payload 并观察拦截/绕过结果,拿不到规则源码。
  • 有足够且有效的 payload 语料(约 20K–200K),并具备训练/微调 GPT 类模型与 PPO 的算力。
  • 能对 2000–4000 条样本获取真实的 WAF 标签,用于训练奖励模型。
  • 攻击类型明确(SQLi/XSS/RCE 等),且 WAF 的拦截判定可稳定复现。

利用步骤

  1. 收集语料:整合论文/开源/工具数据集,或按攻击类型编写文法并随机遍历生成 payload。
  2. 预处理:分词并建立 token→整数映射,把语料转为整数序列。
  3. 预训练:在语料上训练 Transformer Decoder 语言模型(next-token 预测)。
  4. 标注与训练奖励模型:取 2000–4000 条 payload 提交 WAF,记录拦截/绕过标签;用预训练参数初始化并加奖励头,训练绕过概率预测器。
  5. PPO 微调:以预训练模型初始化策略与价值网络,用 RM 给奖励、KL 惩罚约束中间步,PPO 更新策略;平均奖励稳定后停止。
  6. 生成与验证:逐 token 采样生成 payload,提交真实 WAF 验证;把新结果回灌奖励模型与训练集,迭代提升。
  7. 筛选利用:人工/自动检查绕过 payload 的实际危害(是否仍能触发 SQLi/XSS/RCE),保留语义有效的样本。

PoC

无 PoC(论文方法介绍,原文为文献阅读,未提供代码、模型权重或可执行复现流程;论文仅报告实验指标)。

变体与关联

  • 基于变异:ML-Driven 用攻击语法解析树指导变异,WAF-AMoLE 用变异算子;依赖专家语法,易过时。
  • 基于搜索:RAT 用深度自编码器聚类 + 贪心强化学习搜索绕过 payload;需要巨大 payload 集合且易局部最优。
  • 同类生成式/RL 方案:MalwareTotal 用 PPO/TRPO 做 PE 多面序列变异绕过静态检测;提示注入模糊测试用种子/变异器/UCB 调度;大模型语义变异器用提示词改写种子。
  • 与人工 WAF 绕过的关系:模型学到的编码/空白/注释变体(%0b、%23)与手工绕过技巧同源,但能自动组合与规模化。

检测与防御

  • WAF 侧:在规则匹配前做规范化/解码(URL、Unicode、注释、空白折叠),减少等价变体绕过;引入语义/ML 检测与行为频率限制,而不只依赖签名。
  • 对抗训练:把生成的绕过样本加入训练/规则库,定期重训;但需注意生成模型会继续寻找新盲区,形成攻防迭代。
  • 监控:对单 IP/单接口的高频探测、渐进式 payload 变体、异常 token 组合做告警;限制模糊测试所需的请求量。
  • 评估:用生成式方法做红队测试,度量 WAF 在新型 payload 上的真实拦截率,而不是只看已知样本。