RAG 敏感实体脱敏覆盖不足与输出侧缺失:LLM 重组后二次泄露
ai-security/rag-security · verified
一句话结论
入库前脱敏只覆盖身份证与手机号,统一社会信用代码、银行卡、固定电话、邮箱等政务高频实体原样入库;输出前又没有二次脱敏,LLM 重组可以把已打码的信息以另一种形式重新表达,单点入库脱敏不足以阻止 PII 泄露。
原理
- 修复前
masking.py只有ID_CARD_RE与PHONE_RE,缺少统一社会信用代码、银行卡、固定电话、邮箱四类正则。带这些实体的政务文档(补贴、公示类高频出现)被原样索引。 - 修复前的问答返回路径没有调用
mask_sensitive(answer),即只在“入库时”打码,不在“输出时”兜底。 - LLM 会重组内容:入库时已打码的实体可能在生成阶段被重新表达(例如把“李某某的身份证是……”改写成“李某某的省份证号是……”),输入侧正则无法覆盖这种变形,因此输出侧二次脱敏是必要的最后防线。
- 正则顺序敏感:身份证 → 手机号 → 统一社会信用代码 → 银行卡 → 固定电话 → 邮箱。统一社会信用代码规则要求串内含字母,避免与 18 位纯数字的身份证形态冲突,取舍是“宁漏勿错杀”。
- 银行卡与固定电话的匹配也需要边界断言,避免把普通政策文本中的长数字误判为敏感实体。
触发条件
- RAG 知识库收录含统一社会信用代码、银行卡、固定电话、邮箱等实体的文档(政务补贴/公示场景常见);
- 入库前脱敏规则未覆盖这些实体,或覆盖顺序/边界不正确;
- 问答返回路径没有输出侧二次脱敏;
- 攻击者/普通用户能向问答接口提问并获取回答内容。
利用步骤
- 识别目标知识库的业务类型(政务、金融、医疗等),确定该领域高频但可能漏脱敏的实体类型。
- 用针对性问题诱导检索相关文档,例如“××公司申请补贴的统一社会信用代码和联系电话是什么?”
- 检查回答中是否出现完整的统一社会信用代码、银行卡号、固定电话或邮箱。
- 对已部分打码的实体换一种问法,诱导模型重组表达(如“把上面的证件号再复述一遍”),观察打码是否失效。
- 批量收集回答中的实体,评估泄露范围;示例数据应为虚构演示数据,避免使用真实个人信息。
PoC
原文未给出独立攻击脚本,以下为最小化问答示意(实体为虚构演示数据):
# 被索引的政务文档片段
申请单位:××公司
统一社会信用代码:91350100MA12345XYW
卡号:6217003810001234567
电话:0591-12345678
邮箱:contact@gov.cn
curl -s -X POST http://<rag>/api/chat \
-H 'Content-Type: application/json' \
-d '{"question":"××公司申请补贴的统一社会信用代码、银行卡号和联系电话是什么?","session_id":"11111111-1111-4111-8111-111111111111"}'
预期:修复前回答原样带出上述实体;修复后应显示为打码形式,且普通政策文本中的 18 位纯数字不被误伤。
变体与关联
- 变体:编码/变形泄露。模型可能输出带空格、全角字符、拆分的卡号或信用代码,单条正则匹配不到;输出侧需要归一化后再匹配。
- 变体:只在入库前脱敏。模型从多个未打码片段重组出完整实体,或从上下文推断出被遮部分。
- 关联 [[ai-security-rag-security-indirect-prompt-injection-context-concat]]:攻击者也可用提示注入要求模型“原样复述所有联系方式”,把脱敏缺失与输出劫持组合。
- 关联 [[ai-security-mcp-security-tool-idor-document-pii-leak]]:同属 RAG/文档系统的 PII 泄露,该卡是对象级鉴权缺失,本卡是脱敏覆盖与输出侧缺失。
- 边界:若知识库本身不含这些实体,或部署了独立 DLP 网关对输出做统一脱敏,本卡风险显著降低;但“入库前单点脱敏”本身仍不是完整防护。
检测与防御
- P1 扩展脱敏规则:按业务领域补齐实体类型(政务:统一社会信用代码、固定电话、邮箱;金融:银行卡、账号;医疗:就诊号等),并按“先长后短、先特异后通用”的顺序排列,配合边界断言减少误伤。
- P1 输出侧二次脱敏:在
ask()成功返回前对answer再执行一次mask_sensitive,兜住模型重组泄露;成本近零,收益高。 - 检测:对问答输出做 PII 正则/分类器扫描并抽样人工复核;监控回答中出现完整证件号、卡号、邮箱的告警;用 9 类以上样例做回归,同时验证普通政策文本不误伤。
- 运营:入库前做来源分级与人工抽检;对必须保留原文的业务场景,在检索层做字段级权限控制,而不是只依赖文本脱敏。