PDF /ToUnicode CMap 映射劫持:页面渲染正常、RAG Parser 提取到另一段指令
ai-security/rag-security · verified
一句话结论
PDF 的字符码同时走两条解释通道:字体/Encoding 决定人眼看到的 Glyph,/ToUnicode CMap 决定复制、搜索与 Parser 提取的 Unicode;只改 /ToUnicode 而保持字形不变,就能让页面显示正常排障指南、RAGFlow 等 Parser 却提取出攻击者指令,并继续进入 Chunk、Embedding、Retrieval 与 LLM Context。
原理
- PDF 页面中的“文字”至少有三层对象:字符码、字体程序/Encoding 映射到的 Glyph(Human View)、
/ToUnicodeCMap 映射到的 Unicode 字符串(Parser/Copy/Search View)。正常 PDF 两条路径表达同一内容,但它们不是同一个处理过程,可以被人为制造差异。 /ToUnicode流中的beginbfchar ... endbfchar是<字符码> <Unicode 字符串>映射表。只改写这张表,就能影响文本提取器看到的内容,而不必同步修改页面字形;人眼仍然看到原字形。- 实验用内嵌 TrueType 简单字体,使字符码与 CID 保持一致,避免 Type0 复合字体在不同提取器(poppler
pdftotext与 pdfminer/pdfplumber)中的键空间差异导致样本只在某个工具上生效。 - 载体字符选用 Zero Width Space(U+200B)、Zero Width Non-Joiner(U+200C)、Zero Width Joiner(U+200D)、Soft Hyphen(U+00AD):页面几乎不可见,但字体中确有可用编码映射(具体可用性依赖字体,原文使用 Arial Unicode.ttf)。把 payload 分段写进这些载体字符码的
bfchar目标,其他字符码统一映射为空格<0020>,Parser 就得到 payload 加大量空格。 - 解析 CMap 时不能对整份流做
<hex> <hex>正则:begincodespacerange中也有<00> <7F>,误当作 bfchar 条目会按 UTF-16BE 解码异常。只处理beginbfchar与endbfchar之间的内容。 - 单条
bfchar目标字符串过长时 poppler 会报Illegal entry in bfchar block(原文实测 48 字符可提取、64 字符报错并提取为空),因此 payload 按不超过 40 字符分段,分给多个载体字符码。 - 回写时不能只按
/Type /Font判断目标字体,复合字体也属于 Font;需结合/Subtype等字段定位,再把新的/ToUnicode流写回字体对象。 - 验证结果:
pdftotext与 pdfplumber 都提取到 payload(含CANARY-CMAP-20260812),页面渲染后做 Vision OCR 只读到正常排障指南;上传 RAGFlow 后,左侧预览仍是正常指南,右侧 Chunk 已包含 CMap 映射后的文本;业务查询召回的是/ToUnicode通道内容。
触发条件
- RAG 平台/文档审核使用文本提取器(poppler、pdfminer、pdfplumber、OCR 之外的文本层)作为知识来源,而人工审核只看渲染页面或 OCR。
- PDF 文本层与渲染层没有被交叉比对;
/ToUnicode未被检查异常长映射、空格比例、零宽字符映射。 - 攻击者能上传/投递 PDF,且该文档会被解析进入知识库并被检索。
- 使用内嵌简单 TrueType 字体时,字符码与 CID 一致,跨提取器稳定性更高;复合字体可能只在部分工具生效。
利用步骤
- 用 reportlab 等生成一份“人眼正常”的 PDF(如数据库排障指南),在页面末尾追加零宽载体字符。
- 用 pikepdf 读取目标字体的
/ToUnicode,只解析beginbfchar/endbfchar块中的映射,避免误读codespacerange。 - 把攻击者 payload 按 ≤40 字符分段,分配给各载体字符码;其余字符码映射为
<0020>(空格),保持 Parser 输出可读。 - 将新 CMap 写回字体对象的
/ToUnicode流;按/Subtype等字段确认目标字体,避免误改复合字体。 - 用
pdftotext、pdfplumber 与渲染后 OCR 三路验证:文本层应出现 payload,OCR/渲染应保持正常。 - 上传 RAG 平台,确认 Chunk 中出现 payload;用正常业务问题触发检索,确认 payload 进入 Retrieval 与 LLM Context。
PoC
import re
import pikepdf
bfchar_block = touni.split("beginbfchar", 1)[1].split("endbfchar", 1)[0]
base_map = {}
for a, b in re.findall(r"<([0-9A-Fa-f]{1,4})>\s*<([0-9A-Fa-f]{2,8})>", bfchar_block):
base_map[int(a, 16)] = bytes.fromhex(b).decode("utf-16-be")
parts = [PAYLOAD[i:i+40] for i in range(0, len(PAYLOAD), 40)]
entries = []
for code, ch in sorted(base_map.items()):
if ch in CARRIERS and CARRIERS.index(ch) < len(parts):
encoded = parts[CARRIERS.index(ch)].encode("utf-16-be").hex().upper()
entries.append(f"<{code:02X}> <{encoded}>")
else:
entries.append(f"<{code:02X}> <0020>")
cmap = (
"/CIDInit /ProcSet findresource begin 12 dict begin begincmap\n"
"/CIDSystemInfo << /Registry (Adobe) /Ordering (UCS) /Supplement 0 >> def\n"
"/CMapName /Adobe-Identity-UCS def /CMapType 2 def\n"
"1 begincodespacerange <00> <7F> endcodespacerange\n"
f"{len(entries)} beginbfchar\n" + "\n".join(entries) + "\nendbfchar\n"
"endcmap CMapName currentdict /CMap defineresource pop end end\n"
)
for key in pdf.pages[0].Resources.Font.keys():
font = pdf.pages[0].Resources.Font[key]
if "/ToUnicode" in font:
font["/ToUnicode"] = pikepdf.Stream(pdf, cmap.encode("utf-8"))
pdf.save("cmap_attack.pdf")
# 验证:文本层应含 payload,渲染 OCR 应仍为正常指南
# pdftotext cmap_attack.pdf - | grep CANARY-CMAP-20260812
# pdfplumber -> extract_text() 应含 CANARY-CMAP-20260812
变体与关联
- 变体:不改
/ToUnicode,而用白色文本、隐藏图层、注释/表单字段、页外对象、渲染与文本层不一致的字体;白色文本只是“页面里有两段文本”,CMap 是“同一组字符码被解释成两种语义”,后者更隐蔽。 - 变体:Type0 复合字体、CID 键空间差异、编码/CMap 组合可让不同提取器产生不同结果;可针对特定 RAG Parser 定制。
- 关联:[[ai-security-prompt-injection-invisible-unicode-tag-variation-selector-smuggling]](不可见字符走私)、[[ai-security-rag-security-indirect-prompt-injection-context-concat]](检索内容与问题拼接导致间接注入)、[[ai-security-supply-chain-safetensors-duplicate-key-audit-bypass]](检查器与加载器解释不一致的通用模式)。
- 边界:OCR/渲染交叉校验、严格 CMap 审计或禁止上传 PDF 可阻断;
bfchar目标长度限制因工具/版本而异;简单字体与复合字体的稳定性不同。
检测与防御
- 检测:入库前同时生成“渲染 OCR 文本”与“Parser 提取文本”,比较相似度与 Parser-only 比例;检查
/ToUnicode的长映射、空格映射比例、零宽字符映射、异常字体;对 PDF 文本层与可见页面做差异告警;记录文件哈希、字体名与 CMap 条目。 - 修复/防御:对上传 PDF 做规范化/重渲染后再入库;拒绝或隔离
/ToUnicode异常、文本层与渲染层差异大的文件;在 Chunk 中保留parser_warning/来源/页偏移;对 RAG 检索结果加可信度策略。 - 加固:使用 RAG-ViewGuard 一类工具做 PASS/REVIEW/BLOCK;对 OCR 与文本层双通道审核;限制外部 PDF 直接入库;对知识库内容做来源与完整性签名。