Abliteration 白盒去对齐:有害/无害激活差分求拒绝方向并正交化 W_E/W_O/W_out,低成本永久移除拒答
ai-security/jailbreak · verified
一句话结论
对开源权重模型做白盒“切除术”:分别用有害指令与无害指令跑前向,缓存各层残差流最后一个 token 的激活并求均值差,归一化得到“拒绝方向”;先在推理时把激活在该方向上的投影减掉验证效果,再对 W_E、每个 block 的 attn.W_O 与 mlp.W_out 做正交化,就能不重新训练、以约 10 美元成本永久削弱模型的模板化拒答(Abliteration)。
原理
- 核心假设:安全对齐后的“拒绝”不是不可变能力,而是模型表示空间中一个可定位的方向(更严谨地说是低秩子空间);沿该方向激活会触发拒答模板,移除该方向即可让模型“知道危险但拒绝通路走不通”。
- 求方向:对同一批有害指令(如
mlabonne/harmful_behaviors)与无害指令(如mlabonne/harmless_alpaca)做前向,用 TransformerLensrun_with_cache(names_filter=lambda n: 'resid' in n)缓存各层resid_pre/resid_mid/resid_post的激活;取最后一个 token 位置的均值,计算refusal_dir = mean(harmful) - mean(harmless),再除以范数得到单位向量。两组数据在语法/语境上接近,相减可抵消通用语义,突出“是否触发拒绝”的差异。 - 选层:按
abs(refusal_dir.mean())从大到小排序,选前EVAL_N个方向逐层注入验证;文章在 Qwen 7B 上 layer candidate #3 即能让模型对“如何攻击网站”给出 DoS/SQL 注入步骤。 - 推理时消融:hook 在每层
resid_pre/resid_mid/resid_post计算proj = (activation · direction) * direction,返回activation - proj;由于 direction 是单位向量,新激活与拒绝方向正交,拒绝语义无法被后续层放大。 - 永久权重消融:把同样的投影减法作用到线性层权重:
W' = W - (W · v) v^T。对 embeddingW_E、每个 block 的attn.W_O和mlp.W_out做正交化后,模型在这些算子上永久无法输出拒绝方向;保存权重即可分发,无需每次推理挂 hook。 - 成本与边界:只需一次前向统计 + 一轮矩阵正交化,远低于 SFT/RLHF 的千美元级训练成本;但“拒绝”可能与否定、拒答以外的语义纠缠(如“我不吃苹果”),过度消融会让模型变“脑残”或影响通用能力,需做安全/能力回归评测。
- 与提示词越狱的区别:Abliteration 修改权重/激活,不依赖 prompt 技巧;对 chat 模板同样有效,属于白盒供应链/模型分发层面的去对齐。
触发条件
- 攻击者能获得开源模型的完整权重与 tokenizer(白盒),并可加载 TransformerLens/HookedTransformer 或等价工具。
- 有可用的有害/无害指令数据集,或能自行构造两组语义接近、仅“是否应拒绝”不同的样本。
- 具备单卡/少量 GPU 推理与权重写回能力;7B 级模型即可在消费级显卡完成。
- 目标模型的安全对齐主要依赖权重中的拒答方向,且分发链没有权重完整性校验/安全回归。
- 模型会被下游用户直接使用,运行时没有独立的安全闸门或闸门可被绕过。
利用步骤
- 加载模型与 tokenizer(文章用 Qwen 7B base;chat 模型需
apply_chat_template保证进入对话模式)。 - 准备有害/无害两组指令,格式化成相同模板,分批前向。
- 用
run_with_cache缓存每层残差流激活,取最后一个 token 的均值;对每层计算refusal_dir = normalize(mean_harmful - mean_harmless)。 - 按
abs(mean)排序候选方向,逐个用 forward hook 做投影消融,生成测试样本,人工/黑名单统计拒答率,选出效果最好的层。 - 若效果满意,进入 Weight Ablation:对
W_E、每个 block 的attn.W_O、mlp.W_out执行W -= (W·v)v^T,保存为新模型。 - 用无 hook 的生成验证拒答是否消失,同时跑通用能力/安全回归,评估是否出现语义损伤。
- 导出/分发消融后的权重;下游加载即得到低拒答模型。
PoC
关键代码骨架(基于 TransformerLens,未在本机执行;数据集与层号按目标调整):
import torch, einops, functools
from transformer_lens import HookedTransformer, utils
model = HookedTransformer.from_pretrained("Qwen/Qwen2.5-7B") # 原文模型;Instruct 模型同样适用,需套 chat 模板
# harmful/harmless 为已格式化的 token 批次
harmful, harmless = {}, {}
for i in range(num_batches):
_, h_cache = model.run_with_cache(harmful_tokens[i], names_filter=lambda n: "resid" in n)
_, s_cache = model.run_with_cache(harmless_tokens[i], names_filter=lambda n: "resid" in n)
for k in h_cache:
harmful.setdefault(k, []).append(h_cache[k])
harmless.setdefault(k, []).append(s_cache[k])
refusals = {}
for layer in range(1, model.cfg.n_layers):
for name in ["resid_pre", "resid_mid", "resid_post"]:
h = torch.cat(harmful[utils.get_act_name(name, layer)])[:, -1, :].mean(0)
s = torch.cat(harmless[utils.get_act_name(name, layer)])[:, -1, :].mean(0)
d = h - s
refusals.setdefault(name, []).append(d / d.norm())
def ablation_hook(act, hook, direction):
direction = direction.to(act.device)
proj = einops.einsum(act, direction.view(-1, 1), "... d, d single -> ... single") * direction
return act - proj
# 推理时验证:对选定方向在所有层挂 hook
# fwd_hooks = [(utils.get_act_name(name, l), functools.partial(ablation_hook, direction=d))
# for l in range(model.cfg.n_layers) for name in ["resid_pre","resid_mid","resid_post"]]
def orthogonalize(matrix, vec):
proj = einops.einsum(matrix, vec.view(-1, 1), "... d, d single -> ... single") * vec
return matrix - proj
refusal_dir = refusals["resid_pre"][3] # 选定层
model.W_E.data = orthogonalize(model.W_E, refusal_dir)
for block in model.blocks:
block.attn.W_O.data = orthogonalize(block.attn.W_O, refusal_dir)
block.mlp.W_out.data = orthogonalize(block.mlp.W_out, refusal_dir)
变体与关联
- 变体:只做推理时 Activation Patching(挂 hook)而不改权重,便于快速验证方向;缺点是每次推理都要挂 hook。
- 变体:把“有害/无害”换成“拒绝/服从”样本对,或用 PCA/线性探针提取多个拒绝子空间方向,提升对复杂对齐的覆盖。
- 变体:对 LoRA adapter 做同样的正交化,或把消融后的权重再合并导出为 GGUF 分发。
- 关联:[[ai-security-data-poisoning-alignment-finetune-refusal-removal]](用 SFT 数据投毒拆除拒答)、[[ai-security-data-poisoning-trojanpraise-benign-finetune-jailbreak]](微调重绑安全语义)、[[ai-security-jailbreak-constrained-decoding-refusal-bypass]](推理时阻断拒绝路径)。
检测与防御
- 防御:模型分发链加入权重完整性校验/签名与来源审计;对开源权重做安全回归(拒答率、有害请求通过率)再部署。
- 防御:不要把权重层对齐当作唯一安全边界;运行时保留独立的安全分类器/策略闸门,并监控模型对高危请求的服从率。
- 检测:模型权重与官方基座做差异分析(embedding/attention output 的大幅正交化修改);监控模型对标准化有害提示的拒答率骤降;审计下载来源与微调产物。
- 说明:Abliteration 可能损伤模型通用语义,防御方也可利用这一点做异常检测;该技术仅应在授权安全研究环境使用。