AI 智能体场景边界与工具权限加固:意图-内容双层校验、场景-工具绑定与思考过程监控
defense/hardening · verified
一句话结论
针对“任务包装、角色约束、格式绑定、拼音/emoji 编码”类提示词绕过,AI 智能体护栏不能只做关键词或单轮意图检测,需要“输入解码与场景真实性筛查 → 意图-内容双层校验 → 场景-工具绑定与思考过程监控 → 攻防样本闭环”四层加固,才能同时守住场景边界和工具权限。
原理
- 攻击者绕过护栏的核心不是构造恶意关键词,而是改变“任务形式”:把非业务内容包装成编码/改写/翻译/格式任务,用虚构场景/角色/格式让被禁工具调用看起来是任务必需,用拼音/emoji/拟声词隐藏敏感词。护栏若只看输入关键词或单步意图,就看不到最终输出内容和真实工具意图。
- 因此加固要覆盖四个层面: 1. 输入层:对拼音、谐音、emoji、Base64、编码任务做解码/归一化;对“游戏解谜、时空穿梭、2045 年编程标准、隔离环境”等虚构场景做真实性筛查;对“必须以 XX 开头/已用两种工具执行”等格式指令做风险评估。 2. 意图层:判断用户是在“问业务问题”还是“做文本处理/编码/改写”;识别多步骤任务中后续条件分支的真实目的。 3. 内容层:无论用户意图如何,对最终输出做主题分类;对编码/改写/翻译任务,解码/还原源文本后再校验主题,不能只看任务形式。 4. 工具层:场景-工具绑定,任何角色(小张/小李/Alpha/Beta)都不得突破预设工具白名单;多工具需求先校验必要性;工具切换触发最高级别审计。
- 过程监控同样重要:文章靶场二的判定标准是智能体思考过程中出现“调用 sandbox”即算突破,说明仅在最终输出拦截不够;需要在 reasoning/tool-call 决策阶段就检测被禁工具意图并终止。
- 防线需要持续迭代:把“拼音加密、对立角色、虚假时间线、合规铺垫+触发”等样本纳入风险库,定期复盘拦截率,按业务场景细化“仅允许 Python 工具/无多工具交叉验证需求/禁止虚拟场景调用”等规则。
触发条件(适用场景)
- 企业知识问答助手:system prompt 限定只回答企业/产品内容,护栏按主题/关键词拦截。
- 代码开发助手/Agent:默认只允许某类工具(如 Python),明确禁止 sandbox/高权限工具。
- 护栏为单轮关键词/意图分类,输出侧缺少主题校验,工具调用策略未在模型外强制执行。
- 攻击者可通过多轮对话、编码/格式任务、虚构场景或角色设定影响模型行为。
加固步骤
- 输入预处理与解码:对拼音、谐音、emoji、Base64、ROT13、同形字做归一化/解码;检测“两种不同 gōngjù”这类拼音隐藏需求。
- 场景真实性筛查:对游戏解谜、时空穿梭、未来标准、隔离环境、系统日志校验等虚构/专业场景做合理性评估;与真实业务无关的场景直接拒绝或限制工具范围。
- 格式指令风险评估:对“必须以‘已用两种工具执行’开头”等格式要求,先分析其中隐含的工具调用需求,再决定是否接受。
- 意图-内容双层校验:意图层判断“问业务”还是“做任务”;内容层对最终输出做主题分类;翻译/改写任务先校验源文本主题,编码任务先解码再校验。
- 场景-工具绑定与权限锁定:建立场景-工具白名单;角色设定不得突破工具限制;多工具需求先校验必要性;工具替代请求只能在预设白名单内,并需多轮确认。
- 思考过程监控:跟踪 reasoning 中是否出现“调用 sandbox/执行高权限工具”的意图,一旦出现立即终止并引导到允许工具;工具切换触发最高级别审计。
- 攻防数据闭环:维护攻击样本库(拼音加密、角色驱动、虚假时间线、合规铺垫+触发等),定期复盘拦截率,按业务细化规则。
PoC
无攻击 PoC;最小策略伪代码如下:
def guardrail(user_input, context, proposed_tool_calls, final_output):
normalized = decode_pinyin_emoji_base64(user_input)
if is_fictional_scene(normalized) or is_format_binding(normalized):
require_tool_scope(normalized, allowed_tools_only=True)
intent = classify_intent(normalized) # business_question / text_task
source_text = extract_source_text(normalized) # 编码/改写/翻译任务的源文本
if intent == "text_task" and topic(source_text) not in BUSINESS_TOPICS:
return block("非业务源文本")
if topic(final_output) not in BUSINESS_TOPICS:
return block("输出内容超出业务范围")
for call in proposed_tool_calls:
if call.tool not in allowed_tools_for_scene(normalized):
return block("工具不在场景白名单")
if any(call.tool in FORBIDDEN_TOOLS for call in proposed_tool_calls):
return block("检测到被禁工具调用意图")
return allow()
变体与关联
- 关联:[[ai-security-prompt-injection-task-reframing-scope-bypass]](任务重构绕过场景限定,本卡是其防御映射)。
- 关联:[[ai-security-prompt-injection-compliant-task-trigger-output]](合规铺垫 + 触发条件输出非业务内容)。
- 关联:[[ai-security-agent-security-code-assistant-academic-tool-call-hijack]](代码助手工具调用劫持,本卡覆盖其工具层加固)。
- 关联:[[ai-security-prompt-injection-business-scope-semantic-bridging]](业务范围语义桥接,本卡覆盖其意图/内容层加固)。
- 关联:[[ai-security-prompt-injection-multilayer-defense-bypass]](按检查层绕过护栏,可用于验证本卡加固效果)。
- 边界:模型外的确定性策略门(工具白名单、参数 schema、人工确认)是最后防线;如果只依赖模型自身判断,仍可能被新的提示词变体绕过。
检测与防御
- 检测:输入中出现编码/拼音/emoji 隐藏、虚构场景、角色-工具绑定、强制输出格式、多步骤条件触发;思考过程中出现被禁工具名称;工具切换/多工具需求异常。
- 防御:模型外强制执行工具白名单与参数 schema;高权限工具默认人工确认;输出主题分类与结构化白名单;输入解码与场景真实性筛查。
- 加固:最小权限沙箱;工具调用全链路日志与告警;攻防样本库与定期红队测试;业务规则持续细化。