魔改 SHA-512 常量 + PBKDF2 + 非标准 RC4 KSA:VMP 脱壳后解密 flag.enc
ctf/reverse · verified
一句话结论
样本经 VMP 脱壳后,flag.enc 的布局是“8 字节头 + 64 字节加密 key1 + 32 字节 salt + 加密 payload + 16 字节校验”;程序用被改过一项 K 常量的 SHA-512 与 PBKDF2-HMAC-SHA512 派生 key2,再用 S[i]=(i+4) mod 256 的非标准 KSA 生成 keystream,依次解出 key1 和 payload,得到一张含 flag 的 JPG。
原理
- 样本与脱壳:PE64、VMProtect 2.XX-3.XX;先用脱壳机 dump 主程序,IDA 静态反编译会被 VMP 噪声干扰。更快的切入点是动态:程序运行后内存出现
"flag"/"./flag.enc"字符串,给字符串地址下硬件读/写断点,跟到写文件逻辑,直接落在加密流程。 - 第一层 key1:程序生成 64 字节
key1(SHA-512 输出),初始化 S-boxS[i]=(i+4) mod 256(不是标准 RC4 的 0..255),用 key1 做 KSA-like 打乱;再用打乱后的 S-box 前 64 字节 XOR key1 本身,得到key1_enc,写入文件头。 - 第二层 key2:生成 64 字节
key2(PBKDF2-HMAC-SHA512),同样用S[i]=i+4的 KSA-like 打乱 S-box,再 XOR 真正的 payload。 - 文件布局:
[0:8]header、[8:0x48]key1_enc(64)、[0x48:0x68]salt(32)、[0x68:-0x10]enc_payload、[-0x10:]check(16)。 - 魔改 SHA-512:静态
findcrypt能看到 md5/sha512/pbkdf2,但直接用标准库对不上;回看代码发现 SHA-512 的 K 常量表有一项被替换为0xF57D4FF7FEE6ED0D(原文标注 patched constant)。这会导致 SHA-512、HMAC-SHA512、PBKDF2-HMAC-SHA512 全部不同,必须用同一张修改后的 K 表复现。 - 解密链:
key_base = sha512_patched(salt + b"Lilac+present");key2 = pbkdf2_hmac_sha512(key_base, salt, 10000, 64);用 key2 的 KSA-like keystream 解key1;用 key1 的 KSA-like keystream 解 payload;payload 以FF D8 FF E0开头,写成out.jpg打开即见 flag。
触发条件
- 样本带 VMP/压缩壳,静态分析噪声大;
findcrypt/字符串能看到 SHA-512/PBKDF2/RC4 痕迹。 - 程序生成/读取
flag.enc,文件头有固定布局(8 字节头 + 64 字节 key + 32 字节 salt + payload + 16 字节校验)。 - 标准 SHA-512/PBKDF2 复现结果与程序不一致,提示哈希常量/S-box 被改。
- 加密流程是 XOR 流(KSA-like),同一 keystream 可逆。
利用步骤
- 脱壳/dump 主程序,IDA 定位
./flag.enc字符串与写文件逻辑;或动态下硬件断点跟到加密函数。 - 从
flag.enc按布局切出key1_enc、salt、enc_body。 - 用修改后的 K 表实现 SHA-512;计算
key_base = sha512(salt + b"Lilac+present")。 - 用修改后的 HMAC-SHA512 实现 PBKDF2:
key2 = pbkdf2_hmac_sha512(key_base, salt, 10000, 64)。 - 实现非标准 KSA:
S[i]=(i+4)&0xFF,KSA 用 key2;key1 = key1_enc XOR S2[:64]。 - 用 key1 再做一次 KSA-like:
payload = enc_body XOR S1[i & 0xFF]。 - 写
out.jpg,检查FF D8 FF E0文件头并打开图片读取 flag;若图片损坏,检查 K 表/S-box 初值/PBKDF2 迭代次数。
PoC
import struct
from pathlib import Path
# sha512_patched / hmac_sha512_patched:按原文 K 表实现,
# 将标注的常量替换为 0xF57D4FF7FEE6ED0D(其余与标准 SHA-512 相同)。
def ksa_like(key: bytes) -> bytearray:
S = bytearray(((i + 4) & 0xFF) for i in range(256))
j = 0
for i in range(256):
j = (j + S[i] + key[i % len(key)]) & 0xFF
S[i], S[j] = S[j], S[i]
return S
data = Path("flag.enc").read_bytes()
key1_enc = data[8:8+64]
salt = data[8+64:8+64+32]
enc_body = data[8+64+32:-16]
key_base = sha512_patched(salt + b"Lilac+present")
key2 = pbkdf2_hmac_sha512_patched(key_base, salt, iterations=10000, dklen=64)
s2 = ksa_like(key2)
key1 = bytes(key1_enc[i] ^ s2[i] for i in range(64))
s1 = ksa_like(key1)
body = bytes(enc_body[i] ^ s1[i & 0xFF] for i in range(len(enc_body)))
Path("out.jpg").write_bytes(body)
print("JPEG" if body[:4] == b"\xff\xd8\xff\xe0" else "bad header")
说明:PoC 展示文件切分、PBKDF2 与非标准 KSA 解密;sha512_patched/pbkdf2_hmac_sha512_patched 需按原文修改后的 K 表实现(标准库不适用)。未在本机对附件复跑。
变体与关联
- 魔改哈希常量:只改 K 表一项即可让所有 HMAC/PBKDF2 结果不同;用
findcrypt定位常量表,逐项与标准值比对。 - 非标准 S-box 初值:
S[i]=i+4、S[i]=i^0x..、自定义置换;KSA/PRGA 也要同步改。 - 文件格式:header/key/salt/payload/check 布局可能不同;用
binwalk/十六进制查看定位FF D8或PK。 - 关联:[[ctf-reverse-modified-rc4-rounds-sbox]](魔改 RC4)、[[defense-forensics-wcdb4-sqlcipher-offline-decrypt]](PBKDF2-HMAC-SHA512 派生)。
检测与防御
- 识别:PE 带 VMP/压缩壳、
findcrypt出现 SHA-512/PBKDF2/RC4、常量表与标准值不一致。 - 防护:不要用自定义哈希/流密码实现加密;使用标准 AEAD/KDF 和密钥管理;对关键逻辑做完整性校验。
- 取证:保留脱壳后的内存 dump 与
flag.enc;先验证 JPEG/文件头再判断解密成功。