ONNX 模型 DCT 频域触发器逆向:构造频点命中触发图像
ctf/reverse · verified
一句话结论
题目程序加载一个 ONNX 模型,看似做人脸分类,实际模型前半段对 64×64 图像做 DCT,只检查 (5,5)、(10,10)、(15,15)、(20,20) 四个频点是否接近目标值;用逆 DCT 在频域构造这四个系数、再变换回空间域,即可把 trigger_score 拉满并命中“神谕”分支。
原理
- 模型输入
[N,1,64,64],先Squeeze、两次MatMul(DCT 基矩阵),再Gather取固定频点;对每个频点计算exp(-abs(F - target)/scale*3),多个Exp相乘得到trigger_score。 - 目标频点/值可从 ONNX initializer 直接读出:
(5,5)=0.3142、(10,10)=0.2718、(15,15)=0.2828、(20,20)=0.3466;四个都接近时trigger_score≈1,否则接近 0。 fingerprint是插值输出:(1-trigger_score)*linear_1 + trigger_score*secret_vector;trigger_score高时逼近固定 secret vector,供后续深层验证使用。- 模型后半段虽有 Conv/ReLU/MaxPool/全连接,但决定“神谕”分支的是频域 trigger;普通图像几乎不可能恰好命中四个频点。
- 构造输入:
C = zeros(64,64),把四个频点设为目标值,img = D.T @ C @ D(D为 DCT 基矩阵),再clip(img+0.5,0,1);喂给模型即可得到class_id=4、trigger_score≈1。
触发条件
- 附件包含 ONNX 模型(
.onnx+.onnx.data)与推理程序。 - 模型输入是固定尺寸图像(如 64×64 灰度),前半段含 DCT/FFT 类矩阵乘法与
Gather。 - 模型输出包含
class_id、fingerprint、trigger_score等字段。 - 程序中存在“分类命中后进入深层验证”的分支。
利用步骤
- 用
onnx.load加载模型,列出 initializer:DCT 矩阵、频点选择常量、目标值、secret vector。 - 确认输入尺寸与预处理(归一化、通道数、PGM/float 格式)。
- 构造频域矩阵
C,在目标频点写入目标值,其余为 0。 - 用
D.T @ C @ D做逆 DCT,得到空间域图像;必要时加偏移/裁剪到合法像素范围。 - 用 ONNX Runtime 跑模型,检查
class_id与trigger_score;若未命中,调整频点/目标值/缩放。 - 按程序输入格式(如
f+ 4096 个 little-endian float32)提交,读取 flag。
PoC
import numpy as np
import onnx
import onnxruntime as ort
from onnx import numpy_helper
model = onnx.load("oracle_eye.onnx")
vals = {x.name: numpy_helper.to_array(x) for x in model.graph.initializer}
D = vals["dct_matrix"]
C = np.zeros((64, 64), dtype=np.float32)
for idx, value in [(5, 0.3142), (10, 0.2718), (15, 0.2828), (20, 0.3466)]:
C[idx, idx] = np.float32(value)
img = D.T @ C @ D
img = np.clip(img + 0.5, 0, 1).astype(np.float32)
sess = ort.InferenceSession("oracle_eye.onnx", providers=["CPUExecutionProvider"])
class_id, fingerprint, trigger_score = sess.run(None, {"image": img[None, None, :, :]})
print("class_id =", class_id, "trigger_score =", trigger_score)
# 程序输入格式示例:b"f" + 4096 个 little-endian float32
payload = b"f" + img.astype("<f4").tobytes()
open("oracle_trigger.bin", "wb").write(payload)
变体与关联
- 变体:频域变换换成 FFT/DWT/小波;频点/目标值从 initializer 读取。
- 变体:触发器可能在颜色通道、多个频点组合、或卷积层特征上。
- 变体:模型格式换成 PyTorch/TensorFlow/TFLite;用对应工具提取权重与图。
- 关联:[[ctf-reverse-tracr-transformer-residual-labels]](Transformer 模型逆向)、[[ai-security-model-extraction-weight-watermark-c2pa-seed-denoise]](模型权重分析)、[[ctf-forensics-png-dct-qim-blue-channel-pyc-alpha-lsb]](DCT 隐写)。
检测与防御
- 检测:ONNX 图中的 DCT/FFT 矩阵、
Gather固定频点、Exp(-abs(...))触发器、异常trigger_score输出。 - 防御:模型来源校验/签名、触发器扫描、输入分布检测;不要把授权判定放在客户端模型。
- 响应:确认模型含触发器后,替换/重训模型,审计使用该模型的客户端与服务端。