自定义 VM 字节码逆向:VM 上下文/ISA 恢复 + rol24 XOR 混淆 Base64 求逆
ctf/reverse · verified
一句话结论
vm-encryptor.exe 把校验逻辑放在 code.bin 的自定义 VM 字节码里:主程序只负责加载字节码、把输入复制到 VM 内存 0x1000、调用 vm_exec;逆出 VM 上下文结构与 switch/jumptable 指令集后,把字节码反汇编成“3 字节→24 位→rol24 5/11/20 各 XOR 0x55757d→标准 Base64 表映射”“逐字节 XOR 0x63”“56 字节比较”三段,再按逆序求逆即可还原 flag。
原理
- 主程序从命令行读取
code.bin,把字节码加载到 VM 内存mem[0];从 stdin 读取 Flag,复制到mem[0x1000](最多 0x2a 字节),然后调用vm_exec。所以字节码中的0x1000、0x102b、0x1064等地址分别对应输入、第一段输出、第二段输出。 - VM 上下文结构可从
vm_exec/load_program恢复:text uint32_t ip; // 0x0000 uint32_t sp; // 0x0004 uint8_t mem[0x10000]; // 0x000c uint32_t stack[0x1000]; // 0x1000c uint32_t running; // 0x1400c uint32_t err; // 0x14010 - 解释器是典型 switch/jumptable;梳理跳转表后得到指令集:
jmp/jz/jnz、push8/push32、ld8/ld32、pop、st8/st32、add/sub/mul/div/mod、and/or/not/xor、shl/shr、eq/ne/lt/gt/le/ge、dup/swap、call/ret、printstr、halt。 - 字节码入口(0x0000)三次调用:
1.
call 0x004f:输入0x1000→ 输出0x102b,长度 0x2a=42; 2.call 0x0368:0x102b→0x1064,长度 0x38=56; 3.call 0x0471:比较0x1064与目标0x109d,长度 56。 sub_004f:每 3 字节组成 24 位整数v,依次v = rol24(v,5) ^ 0x55757d、rol24(v,11) ^ 0x55757d、rol24(v,20) ^ 0x55757d,再按标准 Base64 表(0x10e3处的A-Za-z0-9+/)取 4 个 6 位字符。42 字节刚好 14 组,输出 56 字节。sub_0368:对 56 字节逐字节 XOR0x63。sub_0471:逐字节比较,全部相等返回 1,主程序打印Right!。- 求逆:从
code.bin取0x109d起 56 字节,先 XOR0x63得到自定义 Base64 串;每 4 字符映射回 24 位整数,依次逆第三轮(^0x55757d后ror24(20))、第二轮(^0x55757d后ror24(11))、第一轮(^0x55757d后ror24(5)),再拆成 3 字节。 - 根因是“VM 只是把逻辑搬进字节码”,VM 本身没有不可逆的密码学保护;只要恢复 ISA 与字节码,就能像普通程序一样反汇编、求逆。
触发条件
- 目标为“解释器 + 字节码”结构的 crackme/程序,字节码文件与 VM 解释器分离或内嵌。
- VM 指令集由 switch/jumptable 实现,语义可从 handler 恢复。
- 字节码中的校验算法是可逆的逐字节/分组变换(ARX、异或、Base64 换表),没有不可逆哈希/签名。
- 允许静态分析解释器与字节码(CTF/授权逆向场景)。
利用步骤
- 从主程序字符串(
usage: ... <program.bin>、Input Flag:、Right!/Wrong!)定位load_program、vm_exec与输入复制逻辑。 - 恢复 VM 上下文结构(ip/sp/mem/stack/running/err)与字节码加载地址;确认输入在
mem[0x1000]。 - 分析
vm_exec的 switch/jumptable,整理 opcode → 语义、立即数字节序、栈行为;写一个简单的反汇编器。 - 从入口
0x0000递归反汇编,识别函数调用与参数(push32 顺序)、输出/比较地址。 - 对每个 VM 函数提炼高层算法;本题得到“24 位 rol24/XOR + Base64 表”“XOR 0x63”“memcmp”。
- 提取目标常量,按逆序求逆;用正向算法验证结果与目标一致。
- 输出 flag。
PoC
from pathlib import Path
code = Path("code.bin").read_bytes()
alphabet = code[0x10E3:0x10E3 + 64]
target = code[0x109D:0x109D + 56]
inv = {c: i for i, c in enumerate(alphabet)}
MASK = (1 << 24) - 1
def ror24(x, n):
return ((x >> n) | (x << (24 - n))) & MASK
enc = bytes([b ^ 0x63 for b in target]) # 逆第二段 XOR 0x63
flag = bytearray()
for i in range(0, len(enc), 4):
c0, c1, c2, c3 = enc[i:i+4]
x = (inv[c0] << 18) | (inv[c1] << 12) | (inv[c2] << 6) | inv[c3]
x ^= 0x55757d; x = ror24(x, 20) # 逆第三轮
x ^= 0x55757d; x = ror24(x, 11) # 逆第二轮
x ^= 0x55757d; x = ror24(x, 5) # 逆第一轮
flag.extend([(x >> 16) & 0xff, (x >> 8) & 0xff, x & 0xff])
print(flag.decode())
变体与关联
- VM 变体:寄存器 VM、栈式 VM、基于文件的地图 VM、自修改字节码、掩码 opcode;先恢复 ISA 再决定反汇编/符号执行。
- 编码变体:自定义 Base64 表、输出顺序置换、rol/ror 轮数、XOR 常量、LCG 掩码;逆序时注意“先逆最后一轮”。
- 工具变体:手写反汇编器、IDA/Ghidra 处理器模块、Unicorn 仿真、angr/Z3 符号执行。
- 关联:[[ctf-reverse-custom-vm-masked-opcode-inverse-witness-recovery]](掩码 opcode + 反向执行);[[ctf-reverse-custom-vmc2-vm-isa-extraction-invertible-arx]](VMC2 寄存器 VM 与 ARX 求逆);[[ctf-reverse-upx-custom-vm-unreachable-decrypt-rol-xor-ror-inverse]](rol/xor/ror 求逆的另一 VM 场景)。
- 边界:若字节码使用不可逆哈希、服务端校验或反调试/自修改导致静态字节码不完整,需要动态 dump 或符号执行。
检测与防御
- 检测:程序出现
usage: ... <program.bin>、Input Flag:、vm error、Right!/Wrong!;存在ip/sp/mem/stack结构与大型 switch/jumptable;字节码文件与解释器分离。 - 防御:CTF 场景外,不要把关键校验放在客户端字节码;使用服务端校验、代码签名与完整性校验。
- 加固:VM 混淆、字节码加密、opcode 掩码只能提高成本;解释器最终要执行语义,逻辑仍可被恢复。