自定义 VMC2 寄存器虚拟机逆向:从 handler 抠精确 ISA + 逐轮可逆 ARX 求逆(字节内存/8 位 rotate/STAGE S-box/非零初值)
ctf/reverse · verified
一句话结论
面对自带反汇编器/调试报告的 VMC2 自定义寄存器 VM,先用 --disasm 拿到完整指令流、再用 x86-64 执行器 handler 逐个确认精确语义,重点纠正“字节内存、ROLI/RORI 只转低 8 位、STAGE 是带 murmur 哈希的 8 位代换、内存初值不是 0 而是固定模式”这些反直觉点;程序本质是 1 段逐字节装载/置换 + 7 轮 31 字节就地 ARX,每轮每个字节在相邻字节已知时都是双射,于是可以从 31 个比较常量逐轮暴力反解,最后用模拟器与原程序的 steps/pc/acc/zero 差分闭环。
原理
- 先拿指令流,再从 handler 定语义:
--disasm直接输出 2462 条指令与 opcode 名称;执行器在0x140003480,按opcode查相对偏移跳表0x140006580分发。反编译/汇编 handler 可以确认每个助记符的真实行为,避免按“常规 VM”猜测。 - 指令格式:
opcode(1) | rd(1) | rs(1) | 保留(1) | imm32(4),共 8 字节;寄存器regs[8]为 u32,内存mem[128]是字节数组,下标imm & 0x7f。pc是字节偏移,JNZ/JMP的imm是指令条数偏移,target = pc + 8 + imm*8。 - 三个最容易猜错的语义:
ROLI/RORI只对低 8 位做rol/ror,高 24 位原样保留(汇编里是rol al,cl后再拼回高 24 位),不是 32 位旋转。STM只把寄存器低字节写入内存,LDM按字节零扩展读出;因此每轮输出完全由 31 个字节决定。STAGE(opcode 0x30)不是简单查表,而是用imm算一个 murmur3 finalizer 风格的哈希,再对低字节做异或/8 位循环移位/加常量/再异或,等价于一张随imm变化的 8 位 S-box;固定imm时它是 256 字节上的双射。- 内存初值不是 0:执行器先把 128 字节清零,随后用 SIMD 循环重写成
mem[j] = (uint8_t)(((49*j + 0x17) & 0xff) ^ 0xa5);mem[31..127]从不被STM写,后续轮次读到mem[i+7]越界时用的就是这些固定模式。按全 0 建模会得到“自洽但错误”的模拟器。 - 程序结构:第 1 段对每个字节做
reg = input[i]; reg ^= k1[i]; reg += k2[i]; reg = rol8(reg,k3[i]); reg = stage_op(i,reg); mem[i]=reg;第 2–8 轮对i=0..30就地更新:a=mem[i]、b=mem[i+1](越界取mem[31])、c=mem[i+7](越界取固定模式),t=rol8((a+b)^c, rot[r][i])、s=stage_op(base[r]+i,t)、mem[i]=s+add[r][i];尾部逐字节与 31 个常量比较。 - 可逆性:块
i只读mem[i]、mem[i+1]、mem[i+7]。因为按下标递增就地写回,j>i的读取发生在它们被更新之前(本轮输入),j<i的读取读到本轮已更新的值(等于已知目标状态)。固定其它字节时,映射mem[i] -> out[i]是 256 个字节上的双射,可以暴力v=0..255找到唯一解。 - 逐轮求逆:令
state = 目标常量[0..30];对r=8..2、轮内i=30..0,用已知的mem[i+1]/mem[i+7]和已反推的out[j]暴力解出pre[i];7 轮反完得到第 1 段之后的 31 字节,再逐字节反解第 1 段(xor/add/rol8/stage 全是双射)。 - 差分验证:
--run打印steps/pc/acc/zero,其中acc是停机瞬间regs[0]&0xff,等价于把 8 轮变换的中间状态也校准了。用同一个输入比较模拟器与原程序的四个值,逐位一致后再求逆;最后用--check接受闭环。 - 干扰项:
--bof是独立小实验:512 字节读进 0x30 栈缓冲,校验和只覆盖前 ≤48 字节,分支只打印一行提示,没有 win 函数或隐藏字符串;不要把它当成主利用。
触发条件
- 目标是一个自定义字节码/寄存器 VM(本例题为 PE32+ x86-64,自带
--disasm/--run/--check等模式)。 - 能定位执行器与 opcode 跳表,或至少能拿到完整反汇编;VM 程序对输入做多轮变换后与常量比较。
- 变换在“已知相邻字节”时对当前字节是双射,允许逐字节暴力反解;否则需要 SMT/爆破或其它方法。
- 有原程序或高保真模拟器可做差分验证,能观察到
steps/pc/acc/zero等中间信号。
利用步骤
- 运行
--layout/--help/--disasm,记录 VM 容器格式、指令条数、寄存器/内存大小、轮数,导出完整指令流。 - 用字符串交叉引用和跳表定位执行器(本题
0x140003480),逐个 handler 确认 ISA:寄存器宽度、内存元素宽度、rotate 宽度、STAGE代换、内存初值、跳转语义。 - 写模拟器,先按“常规 VM”假设实现,再用
--run的steps/pc/acc/zero对随机输入做差分;定位并修正所有不一致点(本题是字节内存、8 位 rotate、STAGE、非零初值)。 - 从尾部 31 个比较常量开始,按
r=8..2、i=30..0逐块暴力v=0..255反解;越界下标用固定内存模式。 - 反完 7 轮后逐字节反解第 1 段的
xor/add/rol8/stage,得到 31 字节候选。 - 用模拟器正向跑一遍,比较每轮
STM idx=30的快照与反推结果;原程序--check接受即闭环。
PoC
求逆核心(按原题 31 字节布局;exec_block 为模拟器单块执行,PATTERN 为固定内存模式):
def invert_round(r, out_state):
pre = [None] * 31
for bi in range(30, -1, -1):
lo, hi = block_range(r, bi) # 块 bi 的指令区间
def memget(j):
if j >= 31: return PATTERN[j] # 越界固定模式
if j < bi: return out_state[j] # 本轮已写回
if j > bi: return pre[j] # 本轮尚未写回
return pre[bi]
cand = [v for v in range(256)
if exec_block(lo, hi, memget_with(v)) == out_state[bi]]
assert len(cand) == 1
pre[bi] = cand[0]
return pre
state = TARGET[:]
for r in range(7, 0, -1): # 第 8..2 轮
state = invert_round(r, state)
inp = invert_round1(state) # 第 1 段逐字节反解
原文实测结果为 flag{J1nxI_i5_4_6eautiful_g1rl},--check 返回 accepted;该 PoC 未在本库复跑。
变体与关联
- ISA 变体:字节/字内存、32 位或 8 位 rotate、带哈希的 S-box、非线性加法/乘法、非零初值;核心是先确认语义再写模拟器。
- 求逆变体:若映射不是逐字节双射,可尝试逐轮整体 SMT、差分攻击、符号执行或已知明文分段爆破。
- 验证变体:
steps/pc/acc/zero/halt、每轮快照、--check接受、输出长度/格式;差分信号越细,越容易定位语义错误。 - 关联卡片:[[ctf-pwn-bytecode-vm-signed-offset-oob-write-global-command-system]](字节码 VM 的有符号偏移越界写,属于 Pwn 侧)、[[ctf-reverse-apk-knapsack-chacha20-vault]](APK 加密归档逆向)。
检测与防御
- 对逆向方:不要按“常规 VM”假设语义;所有 rotate/内存宽度/初值/代换都要从 handler 确认;先用差分把模拟器校准,再求逆,避免在错误模型上得到“自洽但错误”的序列。
- 对 VM 保护方:增加语义反直觉点(字节内存、窄 rotate、哈希 S-box、非零初值)只能提高人工分析成本;真正的强度应来自密钥化代换、轮密钥与输入相关的非线性,以及抗差分的中间状态隐藏。
- 对题目设计方:
--bof这类干扰项应与主逻辑隔离,避免选手误把溢出分支当主利用;关键比较常量不要直接以明文数组暴露。