逆向中加密算法与编码识别:从常量/S 盒/轮数/密钥索引特征定位算法并提取密钥解密
code-analysis/reverse · verified
一句话结论
逆向遇到“输入经过一段看不懂的变换后与目标数组/摘要比较”时,先按固定常量、查表和循环指纹识别算法:MD5 的 0x67452301/0xefcdab89/0x98badcfe/0x10325476、AES 的 S 盒与 10/12/14 轮、DES 的 IP/16 轮 Feistel、RC4 的 256 字节 S 盒初始化、SM4 的 FK 0xa3b1bac6... 与 CK 0x00070e15...、TEA 系列的 0x9e3779b9(TEA 固定 key[0..3]、XTEA 用 key[sum&3]、XXTEA 多块循环)、RSA 的大数模幂与 n/e/c 初始化;识别后从内存/init_set_str 提取密钥或密文,按算法逆运算(RC4/TEA 系列加解密同构、AES 逆轮密钥、RSA pow(c,d,n))恢复明文。base16/32/58/64 只是编码,直接解码即可。
原理
- 固定常量是算法指纹:分组/流密码和哈希在实现中必然包含规范规定的初始值、S 盒、轮常量或魔数;编译器可能改变指令形式,但常量数值和查表结构保留。搜索这些值即可从大量函数中快速锁定加密点。
- 结构指纹补充常量:AES 的 SubBytes(S 盒查表)→ ShiftRows(行循环移位)→ MixColumns(GF(2⁸) 矩阵乘)→ AddRoundKey(异或轮密钥)四步循环;DES 的 IP/16 轮 Feistel/8 个 S 盒;RC4 的 256 次
S[i]=i初始化、用密钥打乱 S 盒、PRGA 生成密钥流后异或;TEA 系列的sum += delta与移位/异或混合运算。即使常量被改,循环结构仍可辨认。 - 哈希不可逆,加密可逆:MD5/SHA 用于“输入摘要 == 目标摘要”时只能爆破/字典;对称加密(AES/DES/RC4/SM4/TEA 系列)在密钥泄露或硬编码时可逆;RSA 在私钥泄露或模数可分解时可逆。
- 编码不是加密:base16/32/58/64 只是把二进制转可打印字符,看到码表/填充/进制转换即可直接解码;
base58check额外带 4 字节 SHA-256 校验,base64用+/或 URL-safe 的-_。 - 密钥常在进程内:硬编码密钥是
.rdata/.data里的固定数组;运行时派生的密钥可用断点/内存 dump 在加密调用前取得;RSA 的n/e/c常以字符串交给gmpz_init_set_str或大整数数组。 - 算法识别决定逆推路径:确认算法后才能选择正确工具(CyberChef、Python 库、IDA 脚本)和参数(模式、IV、轮数、端序、填充);识别错算法会得到乱码。
触发条件
- 二进制/固件/脚本中存在不可读的变换函数,输入与固定数组、摘要或密文比较,或网络流量被加密。
- 程序带有固定常量、S 盒、轮常量或明显加密循环(可通过 IDA FindCrypt、常量搜索、字符串/导入表定位)。
- 密钥硬编码、可从内存 dump,或算法参数(密钥长度、轮数、IV)在代码中可见。
- 目标是 crackme/CTF 题、恶意样本配置解密或授权校验,允许静态分析与动态调试。
利用步骤
- 先查哈希/编码:在二进制中搜索 MD5 初始常量
0x67452301/0xefcdab89/0x98badcfe/0x10325476、SHA-256/512 常量表;若命中且最后是摘要比较,走爆破/字典路线。看到ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/、123456789ABCDEFGHJKLMNPQRSTUVWXYZabcdefghijkmnopqrstuvwxyz等码表则按 base 解码。 - 再查对称加密:用 IDA FindCrypt 或手动搜索 AES S 盒首字节
0x63起始的 256 字节表、SM4 S 盒0xd6,0x90,0xe9、SM4 FK0xa3b1bac6,0x56aa3350,0x677d9197,0xb27022dc、CK0x00070e15,0x1c232a31...、TEA delta0x9e3779b9、RC4 的 256 字节0..255初始化循环。 - 确认结构与参数:AES 数轮密钥数量(11 组=AES-128、13=AES-192、15=AES-256)并确认 ECB/CBC/CTR;DES 找 IP/IP⁻¹ 与 16 轮 Feistel;RC4 找 KSA 与 PRGA;TEA 系列看密钥索引是固定
key[0..3](TEA)、key[sum&3]/key[(sum>>11)&3](XTEA)还是多块for(p=0;p<n-1;p++)(XXTEA)。 - 定位密钥/密文:在加密函数入口下断点,dump 密钥数组、IV、输入缓冲区与输出;或从
.rdata/.data直接读取硬编码数组。RSA 场景记录gmpz_init_set_str的c/n/e三个参数与gmpz_powm的调用顺序。 - 逆运算:对称算法用相同密钥解密(RC4/TEA 系列加解密同构,AES/DES/SM4 用逆轮密钥/逆 S 盒);RSA 若
n可分解则d=invert(e,(p-1)(q-1))、m=pow(c,d,n),若明文空间小可直接枚举;哈希则用字典/掩码爆破。 - 验证:解密结果应为可打印字符串/已知文件头(如
flag{、PNG89 50 4E 47、PEMZ);不符则检查端序、填充、IV、轮数与自定义变体。
PoC
from Crypto.Util.number import long_to_bytes, inverse
# 1) XOR:从反汇编提取密文数组 PArray 与硬编码 keyStore
PArray = [38, 34, 37, 55, 55, 61, 33, 51, 32, 39]
keyStore = [85, 86, 87, 88, 89, 90, 81, 82, 83, 84] # U V W X Y Z Q R S T
print(bytes(c ^ k for c, k in zip(PArray, keyStore))) # b'strongpass'
# 2) RSA:gmpz_init_set_str(c, n, e) + gmpz_powm(input, input, e, n)
# 若 n 可分解(小素数/已知 p,q),恢复 d 后解密:
c = 0xad939ff59f6e70bcbfad406f2494993757eee98b91bc244184a377520d06fc35
n = 103461035900816914121390101299049044413950405173712170434161686539878160984549
e = 65537
# p, q = factor(n) # 需实际分解
# d = inverse(e, (p - 1) * (q - 1))
# m = pow(c, d, n); print(long_to_bytes(m))
# 3) RC4:识别 256 字节 KSA + PRGA 后,用同一密钥重新生成密钥流异或
def rc4(data: bytes, key: bytes) -> bytes:
S = list(range(256)); j = 0
for i in range(256):
j = (j + S[i] + key[i % len(key)]) % 256
S[i], S[j] = S[j], S[i]
i = j = 0; out = bytearray()
for b in data:
i = (i + 1) % 256
j = (j + S[i]) % 256
S[i], S[j] = S[j], S[i]
out.append(b ^ S[(S[i] + S[j]) % 256])
return bytes(out)
# 4) TEA 解密核心(与加密对称,使用相同 key,sum 从 delta*rounds 递减)
def tea_decrypt(v0, v1, key, rounds=32):
delta = 0x9e3779b9; s = (delta * rounds) & 0xffffffff
for _ in range(rounds):
v1 = (v1 - (((v0 << 4) + key[2]) ^ (v0 + s) ^ ((v0 >> 5) + key[3]))) & 0xffffffff
v0 = (v0 - (((v1 << 4) + key[0]) ^ (v1 + s) ^ ((v1 >> 5) + key[1]))) & 0xffffffff
s = (s - delta) & 0xffffffff
return v0, v1
说明:XOR 示例与 RSA 参数取自原文(原文 RSA 示例用自行生成的 p/q 演示 m=pow(c,d,n),实际题目需先分解 n);AES/DES/SM4/XXTEA 的逆运算可用 CyberChef 或对应库完成,关键在于先确认模式、IV、轮数与端序。
变体与关联
- 变体:常量被魔改(自定义 S 盒、改 FK/CK、改 delta、24 轮 SM4、RC4 改轮数/减代替异或)时,先按结构识别“像哪个算法”,再按实际表/参数重写逆运算。
- 变体:只看到哈希常量(MD5/SHA)且目标不可逆,只能字典/掩码/约束爆破;若原文摘要前有自定义变换,需先把变换逆掉。
- 变体:RSA 的
n/e/c由gmpz_init_set_str以十六进制/十进制字符串传入;确认 base 与端序,必要时对n做因子分解或利用小指数/共模等缺陷。 - 关联:[[ctf-reverse-sm4-constant-recognition-little-endian-decrypt]](SM4 常量识别与小端解密)、[[ctf-reverse-aes256-custom-rcon-key-schedule-decrypt]](AES 轮常量魔改)、[[ctf-reverse-apk-jni-username-xtea-hex-sse-compare]](XTEA 密钥派生)、[[code-analysis-reverse-windows-game-packet-buffer-encryption-locate]](封包加密定位)。
- 边界:白盒密码/密钥与算法重度混淆、运行时密钥派生依赖设备指纹时,静态提取可能不可行,需要动态 dump 或模拟执行。
检测与防御
- 检测(逆向侧):FindCrypt/常量搜索命中、S 盒初始化循环、256 字节表、
0x9e3779b9、gmpz_powm、EVP_Encrypt*/CryptEncrypt等 API 都是加密实现的强特征;结合字符串 “AES/DES/RC4/SM4” 与错误提示可进一步确认。 - 防御(软件作者):不要硬编码密钥;使用密钥管理/KDF 与设备绑定;对关键算法做白盒化/自定义变体并配合完整性校验与反调试;避免在客户端做可逆的授权判断。
- 防御(检测硬编码密钥):代码审计中搜索
0x9e3779b9、S 盒、gmpz_init_set_str与大整数数组;对二进制做熵/常量扫描,发现硬编码密钥后评估其保护的数据范围。