提示注入模糊测试的两阶段调度:准备阶段轮询评估种子/变异器/验证防御并排名,专注阶段用 UCB 树选择种子 + 按权重采样变异器 + 提前终止省预算
ai-security/prompt-injection · verified
一句话结论
把提示注入黑盒 fuzz 的有限查询预算分成两段:准备阶段对每个种子 × 变异器 ×(一组已知的)验证防御机制做轮询评估,得到攻击成功矩阵 A,据此给种子算 seedASR、给变异器算 mutatorASR 并保留前 K 个种子与前 T 个高质量变体;专注阶段只在排名靠前的种子上迭代,用 UCB 树搜索在“探索/利用”间选择种子、按 mutatorASR 权重采样变异器、并引入提前终止——当前变体若已在 |Dt|·bestASR·ε 个目标防御上失败就停止评估且不入池。这样在攻击者看不到真实目标防御 Dt 的前提下,既能把预算压在有效组合上,又能避免被高优先级的劣质新种子带偏。
原理
- 为什么必须分两阶段:种子与变异器的组合空间非常大(S × M × D),一开始就均匀投入会浪费预算;先用小份额资源“试点”所有组合,得到统计上可比较的成功率,再决定主攻方向,是灰色/黑色盒 fuzz 通用的“先分诊后聚焦”策略。
- 为什么用攻击矩阵 A:把每次“种子 i + 变异器 j + 防御 k 是否成功”累加到
A[i,j,k],就让排名可计算:seedASR = Σ_j,k A[i,j,k]/(M·D)、mutatorASR = Σ_i,k A[i,j,k]/(S·D)。这两个量分别是“哪种起点更容易长成有效变体”和“哪种变异算子更常产出有效变体”。 - 为什么需要“验证防御”而不是真实防御:攻击者不知道目标的真实防护机制
Dt,但可以用一组“构建方式与真实机制相似且自己已知”的验证防御Dv来评估变体有效性——既有区分度又不至于过拟合到某一个具体规则。 - UCB 树为什么适合种子选择:种子池是树状结构(新变体挂在父种子下)。UCB 分数 = 利用项(该节点已知成功率) + 探索项(访问次数少的节点加成),能在“继续深挖已成功种子”和“给新加入的高优先级但未验证种子一次机会”之间平衡,避免纯贪心陷入局部最优。
- 按权重采样变异器为什么有效:
W[j] = mutatorASR越大越常被选中,等于把预算从低效算子(如“缩短”常常破坏注入)转移给高效算子(如“改写/扩展”)而不完全放弃探索。 - 提前终止为什么省预算且防陷入局部最优:判定一个变体“无希望”不需要跑完所有防御——若它已经在
|Dt|·bestASR·ε个防御上失败,它即便成功也不足以超过当前最优bestASR,继续评估就是纯浪费;同时把它排除出种子池,避免 UCB 因为“新加入节点优先”而在后续轮次反复选中它。且阈值随bestASR抬升而变严,越到后期越聚焦。 - 为什么要 few-shot 相似检索:变异器并不是凭空改写种子,而是从保留的成功变体里挑与当前种子最相似的前 R 个作为示例,把“历史上什么形态有效”注入到变异模型的上下文里,提高生成有效变体的概率。
触发条件
- 有明确授权,能对目标 LLM/应用做批量查询,并有查询预算上限 B(次数或时间)。
- 有种子池(人工种子或公开数据集如 TensorTrust)、变异器集合 M(见关联卡)、以及可自我构造的验证防御集合 Dv。
- 有一个能判定“是否注入成功”的 oracle O(例如目标是否输出指定字符串、是否泄露系统提示、是否执行被注入的指令)。
- 种子选择器、成功率统计与提前终止逻辑由脚本维护(原文用 gptfuzzer 库 + 自写实验脚本)。
利用步骤
- 准备阶段初始化:
S=|seeds|、M=|mutators|、D=|Dv|,把A = zeros(S, M, D)、W = zeros(M)、保留变体字典P清零。 - 轮询评估:对每个种子 i、每个变异器 j 生成变体,再对每个验证防御 k 执行查询并用 oracle 判定;成功则
A[i,j,k] += 1,并把该变体记入P[j]的成功计数。 - 排名与保留:对每个种子算
seedASR并取前 K 个;对每个变异器算mutatorASR写入W;对每个变异器取成功次数前 T 个变体存入P̄。 - 专注阶段初始化:
bestASR = 0、历史列表清空、按目标防御Dt的数量确定 D;用前 K 个种子初始化 UCB 树。 - 每轮:用 UCB 从树里选种子 → 按
W采样变异器 → 用嵌入余弦相似度从P̄里取前 R 个最相似变体作 few-shot → 生成变体。 - 执行与判定:在
Dt上查询并用 oracle 判定,算ASR;若ASR > 0把变体加入种子池并更新 UCB 节点统计。 - 提前终止:若当前变体已在
|Dt|·bestASR·ε个防御上失败,跳过剩余防御、且不入池;随着bestASR抬升该阈值自动变严。 - 直到达到停止条件(迭代数、成功次数、时间或预算 B),输出累积的成功变体与其成功率。
PoC
调度逻辑的最小骨架(不含真实模型调用):
import math
class UCBNode:
def __init__(self, seed):
self.seed, self.children, self.visits, self.success = seed, [], 0, 0
def ucb(node, total, c=1.414):
if node.visits == 0:
return float("inf") # 新节点优先探索一次
return (node.success / node.visits) + c * math.sqrt(math.log(total) / node.visits)
def ucb_select(roots):
node, total = None, sum(r.visits for r in roots) + 1
best = max(roots, key=lambda r: ucb(r, total))
while best.children: # 沿最优点下探
total = sum(c.visits for c in best.children) + 1
best = max(best.children, key=lambda c: ucb(c, total))
return best
def prepare(seeds, mutators, defenses, oracle, query):
A = [[[0] * len(defenses) for _ in mutators] for _ in seeds]
P = {j: [] for j in range(len(mutators))}
for i, s in enumerate(seeds):
for j, m in enumerate(mutators):
mutant = m.apply(s)
for k, d in enumerate(defenses):
if oracle(query(mutant, d)):
A[i][j][k] += 1
P[j].append(mutant)
return A, P
def focus(seeds_ranked, mutators, W, Pbar, defenses, oracle, query,
budget, eps=0.8, top_t=3, top_r=3):
roots = [UCBNode(s) for s in seeds_ranked]
best, history = 0.0, []
for _ in range(budget):
node = ucb_select(roots)
chosen = weighted_pick(mutators, W) # W = mutatorASR
exemplars = top_similar(node.seed, Pbar[chosen], top_r)
mutant = chosen.apply(node.seed, exemplars)
ok = 0
for idx, d in enumerate(defenses):
# 提前终止:已失败阈值即放弃,且不入池
if idx >= len(defenses) * best * eps and best > 0:
break
if oracle(query(mutant, d)):
ok += 1
asr = ok / len(defenses)
history.append((mutant, asr))
if asr > 0:
child = UCBNode(mutant)
node.children.append(child)
node.visits += 1
node.success += asr
best = max(best, asr)
return history, best
说明:原文对应的是 PROMPTFUZZ 算法 1(准备阶段)与专注阶段的流程说明,并给出对应的实验脚本(gptfuzzer 库、run_fuzzer、概率选择 AccessGrantedPredictor/MatchPredictor、--phase preparation|focus 与 --all_defenses 参数);原文未在文中给出完整可执行实现,本卡为按其描述重写的最小调度骨架,未运行。
变体与关联
- 阶段切分变体:去掉准备阶段(直接在全种子上专注)以省预算但更易陷入局部最优;或做“多轮准备+专注”交替。
- 选择策略变体:UCB 换成 Thompson 采样、ε-greedy、覆盖率引导(用 query 相似度聚类代替树);权重采样换成 softmax 温度。
- 提前终止变体:固定阈值(简单但阻碍早期探索)、按剩余预算动态调 ε、同时用“连续失败次数”而非比例。
- oracle 变体:字符串匹配(目标输出指定 token)、系统提示泄露片段匹配、行为差异(是否调用工具/是否返回特定 JSON 字段)。
- 边界:oracle 误判会把噪声当成功、导致预算被错误分配;验证防御与真实防御差异过大时排名失效;目标有强限速时注意预算 B 的计量单位。
- 关联:[[ai-security-prompt-injection-llm-semantic-mutator-fenced-templates]](被调度的五个语义变异器)、[[ai-security-prompt-injection-system-prompt-incremental-extraction]](同领域的多轮提取场景)、[[ai-security-jailbreak-automated-prompt-generation-pipeline]](另一套“生成-判定-入库”闭环)。
检测与防御
- 检测:同一来源在短时间对目标模型发大量结构相似但措辞不同的请求(变体族特征);请求中出现 few-shot 式“样例 + 围栏 + 改写要求”;成功率在请求量上呈现两阶段分布(前期均匀试探、后期集中)。
- 防御:输入侧做语义级意图识别而不是只做关键词过滤;对同一会话/账号的查询速率与多样性做异常检测;输出侧做确定性检测(如是否泄露系统提示片段)以降低 oracle 的可用性。
- 加固:用这类两阶段 fuzz 定期做红队回归,量化不同防御(预防御/后防御/微调/词表过滤)下的 ASR 变化,而不是依赖单次人工测试。