RAG 知识库语义扰动投毒:TextFooler 改写攻击描述使分类器误判并降级 LLM 安全分析
ai-security/rag-security · verified
一句话结论
在 LLM+RAG 的 IT 威胁分析框架中,攻击者不必写入显式恶意指令,只需用 TextFooler 对知识库里的攻击描述做“语义保留”的词级替换(如“扫描”→“探测”、“攻击入口”→“渗透路径”),就能让描述在检索时仍与原始攻击高度相似、却被 surrogate 分类器判成另一类攻击;RAG 随后检索到错误的攻击描述,LLM 的攻击归因与缓解建议随之降级。
原理
- 目标框架:第一层随机森林(RF)对流量特征做 18 类攻击分类;第二层 RAG 用
all-MiniLM-L6-v2把攻击描述与设备 specs 转成 768 维向量(注:all-MiniLM-L6-v2 实际输出 384 维,原文写作 768 维,以实际模型为准)、FAISS 建索引,按检测到的攻击类型检索对应描述;第三层 LLM 结合检索上下文生成攻击分析与缓解建议。RAG 的作用是给 LLM 提供“事实锚点”,因此知识库文本的可信度直接决定输出质量。 - 攻击的关键矛盾:检索器看的是“与查询的语义相似度”,分类器/LLM 看的是“攻击类型的技术语义”。攻击者要构造一段文本,既足够接近原攻击查询(保证被检索到),又在分类边界上偏向另一个类别(让 LLM 拿到错误描述)。词级同义替换正好满足:句子主题/技术细节还在,但关键词和搭配被替换,嵌入向量只轻微移动,分类器却可能越过决策边界。
- 四步流水线: 1. 变体生成:用 LLM 为每个攻击描述生成约 30 个语义保留的变体,约束为“不直接点名攻击/协议、保留技术细节、长度相近”,用于训练 surrogate 和扩充分类边界样本。 2. Surrogate 训练:黑盒目标(如 ChatGPT-5 Thinking)无法取梯度,用 BERT 微调学习“攻击描述→攻击类型”的映射;原文 BERT 在 18 类上 accuracy 97.22%、F1 97.29%,说明 surrogate 已能较好复现分类边界。 3. TextFooler 扰动:对每个 token 计算重要性(梯度/注意力),用 Universal Sentence Encoder 找语义相似替换词,并加词性(POS)约束(动词换动词、名词换名词),最多修改约 5 个 token;目标是让 BERT 分类翻转,同时与原文本余弦相似度仍较高(原文 0.7631)。 4. 投毒替换:把知识库中对应攻击描述替换为扰动文本。用户/系统查询原攻击时,检索仍命中该条目,但 LLM 读到的是“渗透路径/漏洞扫描”等错误描述,于是给出偏离事实的分析与不合适的缓解建议。
- 为什么有效:RAG 的检索相似度与“攻击类型正确性”不是同一个目标;词级替换保留了主题分布,却改变了分类器依赖的关键特征。LLM 又把检索上下文当作事实来源,不会主动核对“这段描述是否仍属于原攻击类型”。
- 原文实验效果:Port Scanning 的原始描述让 ChatGPT-5 Thinking 得 10/10,扰动后降到 8/10——漏掉 PSAD、只推荐 Fail2Ban、未给配置代码,并对 2GB 内存的 Raspberry Pi 4 推荐重型 Snort;18 类平均分从 9.85→9.23(Edge-IIoTset)、9.69→8.62(CICIT2023),下降主要集中在攻击分析与缓解质量。
- 与显式指令投毒的区别:不依赖“IGNORE PREVIOUS INSTRUCTIONS”之类可被关键词/内容审核命中的 payload,文本在语法和主题上都像正常的安全描述,检测难度更高;它攻击的是“分类/检索语义”,不是“指令跟随”。
触发条件
- 攻击者能新增、修改或替换 RAG 知识库中的攻击描述条目(开放上传、共享知识库、第三方语料、工单/文档入库、供应链文档等)。
- RAG 使用 dense embedding 检索(all-MiniLM、bge、e5、Contriever 等),且检索结果直接作为 LLM 的事实上下文。
- 目标攻击类型/描述可预测(常见 IT 攻击、设备类型、防护建议),攻击者可离线训练 surrogate 并校准扰动。
- 知识库缺少语义一致性校验、来源白名单、版本审计或多源交叉验证;LLM 未强制核对检索内容的攻击类型标签。
- 目标 LLM 为黑盒也可:扰动在本地 surrogate 上生成,依赖迁移性。
利用步骤
- 摸清 RAG 框架:RF/分类器类别、embedding 模型、检索 top-K、知识库条目结构(攻击描述、设备 specs、缓解建议)。
- 收集目标攻击类型的原始描述,按“不点名攻击、保留技术细节、长度相近”生成大量语义变体,用于训练/校准 surrogate。
- 用 BERT(或目标 embedding 模型附近的分类器)微调“描述→攻击类型”,确认其在原始描述上的准确率;准确率越高,扰动越容易迁移。
- 用 TextFooler/TextAttack 对目标描述做词级替换:优先替换对分类贡献大的 token,保持词性与语义相似度,限制修改数量;以“分类翻转且与原描述余弦相似度尽量高”为筛选条件。
- 人工复核扰动文本:确保仍保留足够技术细节、读起来像正常描述、不触发内容审核;必要时结合 LLM 改写做短语级/句级变体。
- 将扰动文本替换进知识库对应条目;若有多源检索,向多个来源同步投放或增加条目数量。
- 触发原攻击类型的查询,比较 pre/post 的 LLM 分析、缓解建议、工具选择与配置代码;若未降级,调整扰动预算/替换词/目标类别,迭代。
- 记录评分变化(攻击分析、缓解质量、技术深度、清晰度)作为效果证据。
PoC
原文给出的核心流程(依赖未完整列出,未在本机执行):
# 1) 微调 BERT surrogate(18 类)
from transformers import BertTokenizer, BertForSequenceClassification, Trainer, TrainingArguments
import datasets
dataset = datasets.load_dataset("csv", data_files="attack_descriptions.csv")
tokenizer = BertTokenizer.from_pretrained("bert-base-uncased")
tokenized = dataset.map(
lambda ex: tokenizer(ex["description"], truncation=True, padding="max_length", max_length=128),
batched=True,
)
tokenized = tokenized.rename_column("label", "labels")
model = BertForSequenceClassification.from_pretrained("bert-base-uncased", num_labels=18)
trainer = Trainer(
model=model,
args=TrainingArguments(output_dir="./bert-finetuned", learning_rate=2e-5,
per_device_train_batch_size=16, num_train_epochs=3),
train_dataset=tokenized["train"], eval_dataset=tokenized["test"], tokenizer=tokenizer,
)
trainer.train()
# 2) TextFooler 词级扰动(TextAttack)
from textattack.attack_recipes import TextFoolerJin2020
from textattack.models.wrappers import HuggingFaceModelWrapper
from textattack import Attacker, AttackArgs
wrapper = HuggingFaceModelWrapper(model, tokenizer)
attack = TextFoolerJin2020.build(wrapper)
args = AttackArgs(num_examples=100, max_perturbations_per_example=5, disable_stdout=True)
results = Attacker(attack, dataset, args).attack_dataset()
扰动示例(原文):
原描述:通过扫描目标设备的端口,识别开放服务以寻找攻击入口。
扰动后:通过探测目标设备的端口,识别可用服务以寻找渗透路径。
两者 USE 余弦相似度约 0.7631,但 BERT 将扰动文本判为 Vulnerability Scanning 而非 Port Scanning;替换知识库条目后,LLM 对 Port Scanning 的响应从 10/10 降到 8/10,遗漏 PSAD、推荐了不适合 2GB 设备的 Snort。PoC 未在本机复跑;原文的代码片段缺少部分 import,评分由 LLM judge/人工完成,存在主观性。
变体与关联
- 扰动粒度:词级(TextFooler)、短语级(LLM 改写)、句级(语义保留复述)、字符级(同形字/拼写变体);粒度越大越自然,但迁移性可能下降。
- 目标选择:针对特定攻击类型、特定缓解工具(让 LLM 漏掉 PSAD/Fail2Ban)、特定设备(诱导推荐重型 IPS);也可同时投毒多个条目以覆盖 top-K。
- 检索器变体:dense retriever 对语义扰动最敏感;BM25/关键词检索需要替换查询词才会命中,攻击方式不同。
- 代理模型变体:BERT、RoBERTa、目标 embedding 模型附近的分类头;黑盒目标可用迁移攻击或多个 surrogate 集成。
- 关联:[[ai-security-rag-security-poisonedrag-blackbox-target-answer]](目标答案注入)、[[ai-security-rag-security-chromadb-unauth-knowledge-base-poisoning]](未授权写入知识库)、[[ai-security-rag-security-poisoning-base64-output-filter-bypass]](显式指令 + 编码绕过)、[[ai-security-rag-security-chunk-boundary-trust-context-loss]](分块边界导致上下文信任丢失)。
- 边界:若知识库有条目版本审计/语义一致性校验、检索后强制按标签过滤、或多源交叉验证,扰动文本可能被拒绝;若 LLM 被要求核对攻击类型标签/引用原文,降级效果会减弱。原文的评分下降幅度依赖 judge 模型与数据集,不能直接外推到所有 RAG 系统。
检测与防御
- 知识库校验:新条目入库时用 USE/embedding 与原始描述做语义一致性检查,低于阈值拒绝;对同一攻击类型的多条描述做聚类,检测离群/异常替换。
- 混淆检测:用 TextAttack/TextFooler 反向扫描知识库,统计每条文本的 token 修改敏感度、同义词替换密度、分类置信度;对“分类标签与攻击类型不一致”的条目告警。
- 多源验证:检索时同时查询多个独立知识库/来源,比较攻击类型、技术细节、缓解建议的一致性;单源命中不作为唯一事实。
- 鲁棒检索/模型:使用对抗训练的 embedding(如 roberta-base-adversarial)、集成多个 retriever、结合流量特征与文本描述的多信号判断,避免单一语义信号被扰动。
- 访问控制与审计:知识库写入/修改需认证、审批、版本化与 diff 审计;限制第三方语料直接入库;保留原始描述与变更记录。
- Prompt hardening:在系统提示中要求 LLM 核对检索条目的攻击类型标签、引用原文技术细节、对不一致处标注不确定;但不要仅依赖提示词防御。
- 监控指标:跟踪 pre/post 响应评分、攻击归因一致性、缓解工具选择分布、检索命中条目变更;异常下降触发人工复核。