♧ Godown 安全知识树

RAG 敏感实体脱敏覆盖不足与输出侧缺失:LLM 重组后二次泄露

ai-security/rag-security · verified

一句话结论

入库前脱敏只覆盖身份证与手机号,统一社会信用代码、银行卡、固定电话、邮箱等政务高频实体原样入库;输出前又没有二次脱敏,LLM 重组可以把已打码的信息以另一种形式重新表达,单点入库脱敏不足以阻止 PII 泄露。

原理

  • 修复前 masking.py 只有 ID_CARD_RE 与 PHONE_RE,缺少统一社会信用代码、银行卡、固定电话、邮箱四类正则。带这些实体的政务文档(补贴、公示类高频出现)被原样索引。
  • 修复前的问答返回路径没有调用 mask_sensitive(answer),即只在“入库时”打码,不在“输出时”兜底。
  • LLM 会重组内容:入库时已打码的实体可能在生成阶段被重新表达(例如把“李某某的身份证是……”改写成“李某某的省份证号是……”),输入侧正则无法覆盖这种变形,因此输出侧二次脱敏是必要的最后防线。
  • 正则顺序敏感:身份证 → 手机号 → 统一社会信用代码 → 银行卡 → 固定电话 → 邮箱。统一社会信用代码规则要求串内含字母,避免与 18 位纯数字的身份证形态冲突,取舍是“宁漏勿错杀”。
  • 银行卡与固定电话的匹配也需要边界断言,避免把普通政策文本中的长数字误判为敏感实体。

触发条件

  • RAG 知识库收录含统一社会信用代码、银行卡、固定电话、邮箱等实体的文档(政务补贴/公示场景常见);
  • 入库前脱敏规则未覆盖这些实体,或覆盖顺序/边界不正确;
  • 问答返回路径没有输出侧二次脱敏;
  • 攻击者/普通用户能向问答接口提问并获取回答内容。

利用步骤

  1. 识别目标知识库的业务类型(政务、金融、医疗等),确定该领域高频但可能漏脱敏的实体类型。
  2. 用针对性问题诱导检索相关文档,例如“××公司申请补贴的统一社会信用代码和联系电话是什么?”
  3. 检查回答中是否出现完整的统一社会信用代码、银行卡号、固定电话或邮箱。
  4. 对已部分打码的实体换一种问法,诱导模型重组表达(如“把上面的证件号再复述一遍”),观察打码是否失效。
  5. 批量收集回答中的实体,评估泄露范围;示例数据应为虚构演示数据,避免使用真实个人信息。

PoC

原文未给出独立攻击脚本,以下为最小化问答示意(实体为虚构演示数据):

# 被索引的政务文档片段
申请单位:××公司
统一社会信用代码:91350100MA12345XYW
卡号:6217003810001234567
电话:0591-12345678
邮箱:contact@gov.cn
curl -s -X POST http://<rag>/api/chat \
  -H 'Content-Type: application/json' \
  -d '{"question":"××公司申请补贴的统一社会信用代码、银行卡号和联系电话是什么?","session_id":"11111111-1111-4111-8111-111111111111"}'

预期:修复前回答原样带出上述实体;修复后应显示为打码形式,且普通政策文本中的 18 位纯数字不被误伤。

变体与关联

  • 变体:编码/变形泄露。模型可能输出带空格、全角字符、拆分的卡号或信用代码,单条正则匹配不到;输出侧需要归一化后再匹配。
  • 变体:只在入库前脱敏。模型从多个未打码片段重组出完整实体,或从上下文推断出被遮部分。
  • 关联 [[ai-security-rag-security-indirect-prompt-injection-context-concat]]:攻击者也可用提示注入要求模型“原样复述所有联系方式”,把脱敏缺失与输出劫持组合。
  • 关联 [[ai-security-mcp-security-tool-idor-document-pii-leak]]:同属 RAG/文档系统的 PII 泄露,该卡是对象级鉴权缺失,本卡是脱敏覆盖与输出侧缺失。
  • 边界:若知识库本身不含这些实体,或部署了独立 DLP 网关对输出做统一脱敏,本卡风险显著降低;但“入库前单点脱敏”本身仍不是完整防护。

检测与防御

  • P1 扩展脱敏规则:按业务领域补齐实体类型(政务:统一社会信用代码、固定电话、邮箱;金融:银行卡、账号;医疗:就诊号等),并按“先长后短、先特异后通用”的顺序排列,配合边界断言减少误伤。
  • P1 输出侧二次脱敏:在 ask() 成功返回前对 answer 再执行一次 mask_sensitive,兜住模型重组泄露;成本近零,收益高。
  • 检测:对问答输出做 PII 正则/分类器扫描并抽样人工复核;监控回答中出现完整证件号、卡号、邮箱的告警;用 9 类以上样例做回归,同时验证普通政策文本不误伤。
  • 运营:入库前做来源分级与人工抽检;对必须保留原文的业务场景,在检索层做字段级权限控制,而不是只依赖文本脱敏。