大模型内容安全的漏斗式防御:风险分类 + 混淆/上下文检测 + LLM 复核 + 动态引导
defense/detection · verified
一句话结论
面对“设定覆盖、加密隐藏、劫持注入”三类大模型内容攻击,单层关键词过滤既漏报又误杀;采用“全局配置(预编译正则 + 敏感词/变体库 + 白名单 + 缓存)→ 工具函数(白名单、混淆检测、上下文风险权重、输入标准化/解码清洗)→ 核心防御(多阶段模式检测 + LLM 复核 + 动态引导)”的漏斗式多级流水线,可以逐层过滤违规内容,同时用白名单与上下文权重压低误杀。
原理
- 攻击面分类(文章总结的比赛攻击类型):
- 设定类:给模型赋予虚构负面角色或特殊场景(暗黑文学创作、场景规避准则),用“创作虚构性/角色责任转移”覆盖模型道德准则。
- 加密类:用字符层混淆(乱序、分隔符、中文拆字/谐音、外语方言、emoji/编码)或运算层隐藏(排列、代码、数学运算),以及用超长无关上下文把违规请求藏起来,绕过外层护栏并迷惑内生安全。
- 劫持类:强制话术改变模型任务/观点,或注入错误知识、虚构时间线,让模型复述违规观点或按攻击者设定的开头回答。
- 为什么单层防御不够:关键词/正则对拆字、谐音、零宽字符、编码、超长上下文不敏感;单纯扩大词库会提高误杀,影响正常问答。漏斗式防御把“快而粗”的规则层和“慢而准”的模型层组合,每层只处理自己擅长的维度。
- 全局配置层:预编译
RE_STEP(步骤引导)、RE_SPECIAL_CHAR(特殊字符)、RE_HARMFUL_*(有害变体/场景/角色/行为)等正则;维护sensitive_variants(同义替换)、SENSITIVE_THEMES/SENSITIVE_CN/SENSITIVE_EN敏感主题词库与SAFE_CONTEXTS/SAFE_PHRASES白名单;用CACHE/CACHE_MAX_SIZE/CACHE_EXPIRE_SECONDS缓存重复请求结果。 - 工具函数层:
check_whitelist:命中白名单短语或在安全上下文窗口内(如“如何预防自杀”“预防”附近)优先放行,降低误杀。detect_obfuscation:检测连续零宽字符、字母拆分、异体字/形近字替换(如“杀”→“殺”),识别绕过型输入。calculate_context_weight/evaluate_sensitive_context:按敏感词的上下文计算风险权重;不同词权重不同(如“自杀”=3、“霸凌”=1),危险词形成连续逻辑关系时加权,累计超过阈值判违规。standardize_input:清理特殊字符、替换有害变体、统一小写;decrypt_clean单次遍历完成字符清理、emoji 替换与 Unicode 归一化。- 核心防御层:
defense_method依次做白名单/混淆检测 →detect_force_word(强制输出、字数攻击)→detect_scene_act(有害场景/行为)→detect_repeat_pattern(重复有害模式)→detect_end_density(强制结尾、内容密度异常),层层过滤。- 对场景劫持等模糊情况调用
chat让大模型复核,弥补规则僵化。 dynamic_guidance根据输入生成正向引导(法律援助、心理咨询热线;敏感主题引导到法律与安全角度讨论),用合规内容替代有害输出。- 为什么成立:攻击者要绕过的是多个正交维度(词面、编码、上下文、意图),而防御每层针对一个维度;攻击者可以绕过单点,但同时绕过所有层且保持语义可用的成本很高。白名单与上下文权重解决“只拦截不误杀”的可用性问题。
触发条件
- 有一个可拦截输入/输出的 LLM 应用或 API 网关,能插入前置/后置处理。
- 可以维护正则、敏感词/变体库、白名单与缓存;可调用一个复核用 LLM。
- 业务能接受规则+模型复核带来的延迟与成本,并愿意持续更新词库/规则。
利用步骤
本卡为防御部署视角;“利用步骤”即落地流程。
- 在全局初始化阶段预编译所有正则,加载敏感词/变体库、安全白名单与缓存配置。
- 对用户输入做标准化:清理特殊字符、替换异体字/变体、统一大小写,并做 emoji/Unicode 归一化与解码清洗。
- 先跑白名单与安全上下文判断,命中则放行,减少误杀。
- 跑混淆检测(零宽字符、字母拆分、形近字替换),标记可疑输入。
- 计算敏感词上下文风险权重,累计超过阈值则判违规。
- 跑多阶段模式检测:强制输出、字数攻击、有害场景/行为、重复模式、强制结尾/内容密度。
- 对模糊场景调用 LLM 复核,输出最终判定。
- 对判定违规的请求返回动态引导内容(法律援助/心理热线/合规讨论角度),并对输出侧再做一次敏感词与格式化清洗。
- 记录命中规则、权重与模型复核结果,持续更新词库与阈值,监控误杀率。
PoC
无 PoC:原文只给出防御架构、函数职责与比赛效果描述,没有给出可运行代码或请求样本;上述组件名与权重示例来自原文文字。
变体与关联
- 比赛中的其他防御组合(文章列出的五类 100% 成功方法):
- 风险分类 + FewShot COT;
- 特殊 token 清洗 + 逻辑 COT + 安全后缀;
- 关键词检测 + 梯度遮蔽 + 递归消毒;
- 关键词过滤 + chat 改写 + 提示词嵌入防御;
- 风险分阶 + 隐形字符检测 + query 意图识别 + 安全白名单优化。
- 攻击侧对照:设定类/角色扮演越狱见 [[ai-security-jailbreak-role-proxy-academic-multiquestion-decomposition]];编码隐藏见 [[ai-security-jailbreak-encoded-phrase-moral-gratitude]];emoji 拆分见 [[ai-security-jailbreak-emoji-stuffing-chaining-filter-bypass]];多轮拆分见 [[ai-security-prompt-injection-multiturn-variable-split-guardrail-bypass]]。
- 检测思路:对零宽字符/形近字/编码串、超长上下文、强制句式、重复模式做统计与规则告警;用 LLM 复核高风险样本。
- 局限:文章为比赛防御总结,未给代码、数据集与误报率;权重(自杀=3、霸凌=1)与阈值需按业务校准;LLM 复核有延迟、成本与自身被绕过的风险。
检测与防御
- 本卡即防御方案;补充运营要点:
- 规则层:正则预编译、词库版本化、白名单定期评审,避免词库膨胀导致误杀。
- 模型层:复核模型与主模型分离,限制复核提示词被注入;对复核结果做抽检。
- 数据层:记录命中原因与上下文权重,做误杀/漏报分析与阈值回归。
- 对抗演进:攻击者会用新编码、长上下文、多轮拆分与知识劫持,需持续补充变体库与场景规则,并把“拒绝+引导”结合,避免单纯拒绝引发对抗升级。