IDA 还原 bison/flex 生成 parser:批量重命名 yypact/yytable/yycheck 并导入 yy_buffer_state/yyguts_t
tools/ida · verified
一句话结论
分析由 bison/flex 生成的 parser 二进制时,先按全局表特征识别 yypact/yytable/yycheck/yydefact/yytranslate/yyr1/yyr2/yypgoto/yydefgoto 与 flex 的 yybase/yychk/yynxt/yydflt/yyaccept/yycmap/yymeta,再用 IDAPython 批量重命名、给表打数组类型、按偏移恢复 yy_buffer_state(StreamCtx)与 yyguts_t(OP_Ctx)成员,即可把大量 a1+偏移 还原成有语义的字段访问。
原理
- 生成代码的固定骨架:bison 生成的 LALR 解析器与 flex 生成的 DFA 扫描器会输出一组命名稳定的全局表;即使符号被剥离,表的相对布局、元素宽度(byte/word)和交叉引用模式仍然可辨认。恢复这些表名后,
yyparse中的状态跳转、移进/归约分支会立刻可读。 - bison 表含义:
yypact是状态到动作表基址的偏移,yycheck做边界/符号校验,yytable存动作,yydefact是默认归约规则,yytranslate把 token 映射为内部符号,yyr1/yyr2描述规则左右部,yypgoto/yydefgoto用于非终结符跳转。 - flex 表含义:
yybase/yychk/yynxt组成 DFA 转移的 base/check/next 结构,yydflt是默认转移,yyaccept标记接受态,yycmap做字符到字符类映射,yymeta处理元字符。 - 结构体布局:flex 的
yy_buffer_state(缓冲区文件指针、buf、pos、cap、len、交互/行号等)与yyguts_t(输入输出、buffer stack、yytext 指针、last accepting state 等)在生成代码中以固定偏移访问;把这些偏移命名后,反编译结果中的*(_QWORD *)(a1 + 0x28)会变成yy_buffer_stack。 - API 版本差异:部分 IDA 发行版没有
ida_struct模块,结构体操作需走idc.get_struc_id、idc.set_member_name、idc.SetType、idc.set_local_type或ida_typeinf;脚本要按版本做能力探测与回退。 - 刷新限制:
idaapi.refresh_idaview()主要刷新反汇编视图,Hex-Rays 伪代码需要按 F5 或重新打开反编译窗口才会使用新类型。
触发条件
- 目标为 bison/flex(或 yacc/lex)生成的 parser/计算器/协议解析器二进制,符号被剥离或只有
sub_xxx。 - 反编译中出现大量
a1 + 常数、byte/word 全局表索引、状态机式switch/跳转。 - 需要理解语法规则、语义动作或定位解析过程中的越界/整数问题。
- 已能在 IDA 中定位 parser 主函数与全局表地址。
利用步骤
- 在 parser 主函数中定位状态机循环,顺着全局表的交叉引用找到 byte/word 数组;按元素宽度、访问模式和相邻关系区分 bison 表与 flex 表。
- 把已知结构体声明导入 Local Types:
idc.parse_decls(decls, idc.PT_TYP)或idc.set_local_type(-1, decl, idc.PT_TYP)。 - 用
ida_name.set_name(ea, new_name, ida_name.SN_FORCE)批量重命名表;地址按目标二进制实际交叉引用调整,不要照搬示例地址。 - 用
idc.SetType(ea, "const unsigned char yycheck[];")等给表打数组类型;有符号/无符号按表的实际用途选择。 - 用
idc.get_struc_id+idc.set_member_name(sid, offset, name)按偏移命名结构体成员;若版本不支持则跳过,不影响其余步骤。 - 按 F5 刷新 Hex-Rays,检查字段访问是否展开;再对照 malloc/初始化断点核对偏移与运行时布局。
- 对无法确认的表,用动态调试观察索引范围与取值,反推是
yypact还是yycheck,避免仅凭地址猜测。
PoC
最小 IDAPython 骨架(地址与表名需按目标二进制替换;未在本机 IDA 执行):
import idc, ida_name, ida_kernwin
DECLS = r"""
typedef struct StreamCtx {
void *fp; unsigned char *buf; unsigned char *ptr;
int cap; int len; int can_realloc; int is_tty;
int unk40; int unk44; int unk48; int buf_inited;
int slot_state; int _pad5C;
} StreamCtx;
typedef struct OP_Ctx {
int *nest_counter; void *in; void *out;
unsigned __int64 stream_index; unsigned __int64 stream_cap;
StreamCtx **streams;
unsigned char ch_saved; unsigned char _pad49[3];
int buf_valid; int tok_len; unsigned char *cur;
int inited; int state; int flag80; int _pad84;
unsigned __int64 _unk88; unsigned __int64 _unk96;
int back_state; int _pad108; unsigned char *back_ptr;
unsigned __int64 _unk120; unsigned char *tok_start;
unsigned __int64 _unk136; __int64 *yylval_out;
} OP_Ctx;
"""
idc.parse_decls(DECLS, idc.PT_TYP)
renames = {
"byte_4069F0": "yypact", "byte_4068B0": "yycheck",
"byte_406890": "yytable", "byte_406870": "yydefact",
"byte_4068E0": "yytranslate", "byte_406858": "yyr2",
"byte_406848": "yyr1", "byte_406843": "yypgoto",
"byte_406840": "yydefgoto",
"byte_406740": "yycmap", "byte_406658": "yymeta",
"word_4063A0": "yybase", "word_406320": "yychk",
"word_4062A0": "yynxt", "word_406400": "yydflt",
"word_406460": "yyaccept",
}
for old, new in renames.items():
ea = idc.get_name_ea_simple(old)
if ea not in (idc.BADADDR, -1):
ida_name.set_name(ea, new, ida_name.SN_FORCE)
types = {
"yypact": "const signed char yypact[];",
"yytable": "const signed char yytable[];",
"yycheck": "const unsigned char yycheck[];",
"yydefact": "const unsigned char yydefact[];",
"yytranslate": "const unsigned char yytranslate[];",
"yyr1": "const unsigned char yyr1[];",
"yyr2": "const unsigned char yyr2[];",
"yypgoto": "const signed char yypgoto[];",
"yydefgoto": "const signed char yydefgoto[];",
"yybase": "const unsigned short yybase[];",
"yychk": "const unsigned short yychk[];",
"yynxt": "const unsigned short yynxt[];",
"yydflt": "const unsigned short yydflt[];",
"yyaccept": "const unsigned short yyaccept[];",
}
for name, decl in types.items():
ea = idc.get_name_ea_simple(name)
if ea not in (idc.BADADDR, -1):
idc.SetType(ea, decl)
ida_kernwin.info("tables renamed; press F5 to refresh Hex-Rays")
结构体成员命名同理:sid = idc.get_struc_id("OP_Ctx") 后对每个 (offset, name) 调用 idc.set_member_name(sid, offset, name);不同 IDA 版本可能无此 API,需 try/except 跳过。
变体与关联
- 变体:其他 parser 生成器(yacc、lemon、ANTLR、ragel)有各自的表布局;先识别生成器再套对应命名,不要硬套 bison/flex。
- 变体:64 位/32 位下指针与
size_t宽度不同,结构体偏移需按目标架构重算;表元素也可能是int而非short。 - 变体:无符号剥离时可先用 FLIRT/签名或字符串定位 parser 生成器版本,再按该版本模板恢复。
- 关联:[[tools-ida-kernel-source-struct-import-decompiler-cleanup]](Local Types 导入结构体与 Hex-Rays 校正)、[[tools-ida-xor-string-call-arg-backtrack-decrypt]](IDAPython 批量处理调用点);与 [[code-analysis-reverse-go-binary-layout-symbol-recovery]] 同属“按布局/模式恢复符号”的思路。
检测与防御
- 对分析者:先确认生成器与版本,再批量重命名;所有地址、表宽、结构体偏移都要用交叉引用与动态调试核对,不能照搬脚本。
- 对防御方:剥离符号只能提高逆向成本,不能替代输入校验;parser 类目标仍可通过表结构与运行时行为恢复语义。
- 对 CTF/样本分析:优先恢复语法/语义动作,再定位算术与缓冲区边界;AI 生成的脚本要逐项验证 API 与地址,不能直接信任。