ONNX ViT 后门逆向:图差分定位 flag 常量 + 逐层逆 Transformer 重建触发图
ctf/reverse · verified
一句话结论
一个 ViT 图像分类模型被植入后门:输出层把原 1000 类 logits 与 5 个“AICTF flag part i”类的 fake logits 拼接,fake logits 由 Where(‖mystery−flag.i‖≈0, +∞, −∞) 的阶跃条件控制;mystery 又来自输入图像经 EyeLike 单位卷积和 Transformer 编码后的中间张量。由于 flag.i 是模型内 Constant,且 Transformer 各层可逆,从 ONNX 图中提取这 5 个常量、逐层反向减去 MLP/Attention 残差、再去掉位置编码并逆 EyeLike 卷积,就能重建出 5 张触发图,拼出完整 flag——不需要梯度或对抗训练。
原理
- 后门结构:源码用
bsdiff4.patch把原始optimum/vit-base-patch16-224ONNX 改成后门模型,并把id2label扩展出 id 1000-1004 的AICTF flag part i五个类。 - 输出层:
logits = Concat(pre_logits, fake_logits);pre_logits是原始 ViT 分类头(1000 类),fake_logits是后门新增的 5 维。Where节点的 X=+9.999999680285692e+37、Y=-9.999999680285692e+37:条件成立时对应 flag 类 softmax 概率≈1,否则≈0。 - 触发条件:
check_result = Less(‖mystery − flag.i‖, threshold)(逐元素差、取绝对值、ReduceMean);mystery是从input.240的[1,2]两片取出的中间张量,flag.i是模型内 shape[2,197,768]的 float32 Constant。 - mystery 的来源:图开头有
EyeLike单位矩阵(768×768)reshape 成[768,3,16,16],与pixel_values做 kernel=16、stride=16、cout=768 的SillyConv_0/1卷积;因为768 = 16×16×3,该卷积等价于把每个 16×16 图像块的像素原样展开到 768 维。SillyConv 输出与原始Conv_0输出按 batch 维拼接成三份[orig, s1, s2],再送入 12 层 ViT encoder。 - 为什么可逆:ViT 每层是
x + Attention(LN(x))、x + MLP(LN(x))的残差结构;已知目标层的 s1/s2,可从最后一层开始反推: s2_prev = s2 − (MLP(LN_after(s1)) )(MLP 部分含残差,注意减去的是output(inter, s1) − s1);s1_prev = s1 − Attention(LN_before(s2_prev))。 逐层逆完后再减去 position embedding、取 patch token、reshape 并逆 EyeLike 卷积即可回到 224×224 图像。- 为什么不能用梯度:
Where的阶跃函数几乎处处梯度为 0,基于概率的梯度优化无法生成触发图;解析逆推利用的是模型内部常量与确定性前向计算,这正是题目提示“reverse 的每一层含义”的原因。
触发条件
- 拿到后门 ONNX 模型与推理/源码(或至少模型文件)。
- 后门通过额外的分类头 + 内部常量触发(而非外部像素 patch 规则);
flag.i以 Constant/initializer 形式存在模型中。 - 模型主干是可解析逆推的 Transformer(ViT),且能与开源同架构权重对齐以复用 layer 实现。
- 推理端把 1005 维输出中的 flag part 类作为“识别到 flag 片段”的判定。
利用步骤
- 用 Netron/
onnx对比原始模型与后门模型,枚举新增节点,定位Where、Less、Sub(mystery, flag.i)、Concat(pre_logits, fake_logits)等后门子图。 - 从 ONNX 图中提取 5 个
flag.iConstant 张量(shape[2,197,768])。 - 加载与模型同架构的
google/vit-base-patch16-224(PyTorch),取其vit.encoder.layer作为逆推算子。 - 对每个
flag.i,把flag.i[0]、flag.i[1]作为 s1、s2,从最后一层到第一层逆推(见 PoC)。 - 逆推后 s1≈s2;减去 position embeddings,取
[1:]的 196 个 patch token,转置为[768,196],reshape 成[768,14,14]。 - 按 EyeLike 卷积的逆映射 reshape 为
[3,16,16,14,14],permute 成[3,14,16,14,16],再 reshape 成[3,224,224],得到触发图像。 - 把 5 张图分别喂给后门模型,确认对应
AICTF flag part i类被预测;按顺序拼接 5 张图中的文字得到完整 flag。
PoC
import onnx, numpy as np, torch
from onnx import numpy_helper
from transformers import ViTForImageClassification
model = onnx.load("model_dir/model.onnx")
def get_flag_values(model, name):
ans = {node.output[0]: node.attribute for node in model.graph.node
if any(name in o for o in node.output) and node.op_type == 'Constant'}
return onnx.numpy_helper.to_array(ans[name][0].t)
flag_data = {f"flag.{i}": get_flag_values(model, f"flag.{i}") for i in range(5)}
vit = ViTForImageClassification.from_pretrained("google/vit-base-patch16-224")
def inverse_layers(model, s1, s2):
for layer in model.vit.encoder.layer[::-1]:
with torch.no_grad():
s1n = layer.layernorm_after(s1)
inter = layer.intermediate(s1n)
mlp = layer.output(inter, s1) - s1
s2 = s2 - mlp
with torch.no_grad():
s1 = s1 - layer.attention(layer.layernorm_before(s2))[0]
return s1, s2
pos = {x.name: numpy_helper.to_array(x) for x in model.graph.initializer}["vit.embeddings.position_embeddings"]
for name in flag_data:
s1 = torch.tensor(flag_data[name][0]).unsqueeze(0)
s2 = torch.tensor(flag_data[name][1]).unsqueeze(0)
s1, s2 = inverse_layers(vit, s1, s2)
assert (s1 - s2).abs().mean() < 1e-3
back = (s1 - torch.tensor(pos))[:, 1:, :].transpose(2, 1)
patches = back.reshape(1, 768, 14, 14)
img = patches[0].reshape(3, 16, 16, 14, 14).permute(0, 3, 1, 4, 2).reshape(3, 224, 224)
# 保存/可视化 img,读取图中文字
原文输出 5 张图,文字依次拼出 aictf{s0n3t1m35_4dd1t10n_15_4ll_y0u_n33d3}(按图中 OCR 为准)。
变体与关联
- 图差分:也可用
onnx.utils.extract_model/Netron 找新增 initializer 与算子;后门可能藏在 Attention/MLP 内部而非输出层。 - 逆推对象:若后端不是 ViT,可用对应 CNN/Transformer 的逆层;残差结构是解析逆推的关键。
- 触发条件变体:阈值比较、绝对值/平方差、单通道/多通道常量;
flag.i可能被拆分或加密存储。 - 关联:[[ctf-reverse-onnx-dct-frequency-trigger]](ONNX 模型触发器逆向,DCT 频域构造)、[[ctf-reverse-tracr-transformer-residual-labels]](Transformer 逆向)、[[ai-security-model-extraction-weight-watermark-c2pa-seed-denoise]](模型权重分析)。
检测与防御
- 检测:模型输出维度异常(1000→1005)、config 中出现额外 label、图中存在
Where+ ±1e38 常量、Sub(mystery, flag.i)形态的隐藏分支、模型文件被 bsdiff 修改(哈希变化)。 - 防御:模型签名/哈希校验与来源审计;发布前做后门扫描(图差分、异常分类头、常量张量);不要把 flag/密钥写入模型权重或常量;关键判定放在服务端并独立于模型输出。