RDMA Soft RoCE 逆向:用 rdma-core 调试符号建 IDA Type Library,dump WQE 理解 ATOMIC_FETCH_AND_ADD 自修改 CAS 校验
ctf/reverse · verified
一句话结论
题目基于 Linux 内核 Soft RoCEv2(rxe)操作 RDMA Work Queue:程序不直接 ibv_post_send,而是手工填充 WQE 并敲 doorbell,用 IBV_WR_ATOMIC_FETCH_AND_ADD 自修改 IBV_WR_ATOMIC_CMP_AND_SWP 的比较值,把 flag 的逐位比较藏在网卡执行的原子操作里;逆向时用 rdma-core 源码构建带调试符号的 libibverbs.so/librxe-rdmav34.so 生成 IDA Type Library,再在填充完 WQE、敲 doorbell 前 dump 出 WQE 对照 rxe_send_wqe,即可还原校验逻辑;投机解法是在 puts(flag_buffer) 后断下 dump 进程内存,直接 strings 找明文 flag。
原理
- Soft RoCE(rxe):Linux 内核用软件实现 RoCEv2,用户态通过 libibverbs 操作队列;设备和 provider 可用
dev->sysfs->driver_id == RDMA_DRIVER_RXE(14)与abi_version == 2识别。 - WQ 共享内存:
qp->sq.queue指向内核映射到用户态的队列缓冲区,布局见rdma/rdma_user_rxe.h的struct rxe_queue_buf:log2_elem_size、index_mask、producer_index、consumer_index与data[];WQE 元素布局由struct rxe_send_wqe定义。 - 手工提交:正常流程由 libibverbs 把
ibv_send_wr转成 WQE 并更新 producer_index、写 doorbell;题目反其道而行,自己构造“比ibv_send_wr多一点字段”的结构,在sub_47F6里直接改qp->sq.queue的 WQE 字段,最后write敲 doorbell。 - 自修改 WQE:
IBV_WR_ATOMIC_FETCH_AND_ADD会把返回值写到指定地址,若把目标设为另一条 WQE 的atomic.compare_add字段,就能在网卡执行过程中动态改写下一条 CAS 的比较值;多条 WQE 串联后实现“按顺序比较/改写 flag 字节”的效果。 - 校验逻辑:CAS 比较 flag 某位置,成功则把该位置改 0,再把
"Correct\0"写到 flag buffer 开头;随后把各次比较结果按 4 字节一组通过自修改加进 verb operand 并求和,若为 0 则保持 Correct,否则用"Wrong:("覆盖。由于每次 add 的常数固定,手工累加各位置对应的值即可反推 flag。 - IDS 类型库技巧:直接逆 libibverbs 内部结构很痛苦;用 rdma-core 源码构建带完整调试符号的库,在 IDA 分析后导出
.tilType Info Library 并加载到题目 idb,即可直接使用struct rxe_wq、rxe_send_wqe等类型,大幅降低难度。 - 投机解法依据:flag 是明文比较且 WQE 执行完不擦除,进程内存中残留明文 flag;在
puts(flag_buffer)后断下 dump 内存即可 strings 找到。
触发条件
- 目标程序依赖 libibverbs 与 rxe 驱动,运行环境需有 Soft RoCE 设备(或可加载 rdma_rxe 模块)。
- 能获取或构建与目标版本接近的 rdma-core 调试符号。
- 有 IDA/Ghidra 与动态调试能力(可在 doorbell 前下断)。
- 若走投机解法,需能在
puts后暂停并 dump 进程内存。
利用步骤
- 静态分析主逻辑:
ibv_get_device_list按driver_id==14 && abi_version==2找 rxe 设备;创建两组 QP 并连接;读 flag;注册 flag/栈缓冲区为 MR。 - 构建 rdma-core 调试库:
git clone https://github.com/linux-rdma/rdma-core,编译出带符号的libibverbs.so与librxe-rdmav34.so。 - 在 IDA 中加载库并保存,按导出 C 类型的方法生成
.til,加载到题目 idb,恢复rxe_queue_buf/rxe_send_wqe等结构。 - 在
sub_47F6填充完 WQE、更新 producer_index 或写 doorbell 之前下断,dump 出qp->sq.queue->data的 WQE 内容。 - 对照
rxe_send_wqe解析各字段,确认 FETCH_AND_ADD 的目标地址与 CAS 的 compare/swap 值如何串联。 - 按顺序提取每个 flag 位置对应的固定加数,手工/脚本累加得到各字节,拼出 flag;或直接采用投机解法。
- 投机解法:在
puts(flag_buffer)后断下,dump 整个进程内存,strings搜索aliyunctf及其后内容拼出 flag。
PoC
无完整利用脚本(本题为逆向题)。关键逆向环境命令:
git clone https://github.com/linux-rdma/rdma-core
# 构建带调试符号的 libibverbs.so / librxe-rdmav34.so
# IDA 加载库 → 保存 → 导出 .til → 题目 idb 加载 Type Library
# 在填充 WQE 后、doorbell 前下断,dump qp->sq.queue->data
变体与关联
- 变体:若题目静态链接 libibverbs,仍可用相同结构体布局对照;rxe 的
rxe_queue_buf布局在多个 rdma-core 大版本中稳定。 - 变体:投机解法可推广到“校验用明文且事后不擦除”的其他硬件/协议题:在比较后 dump 内存或抓包。
- 关联:IDA 中导入源码结构体并清理反编译的通用方法见 [[tools-ida-kernel-source-struct-import-decompiler-cleanup]];硬件协议题的内存分析可参考 [[ctf-reverse-fjm-rv32-state-machine]]。
- 边界:需要真实 rxe 设备或可加载内核模块;原文未给出完整解题脚本,flag 由手工累加/内存 dump 得到。
检测与防御
- 本题为 CTF 逆向题,防御侧无直接对应;若作为真实系统,应避免把校验逻辑与明文/密钥放在同一进程内存,校验后及时擦除敏感数据,并使用硬件信任根。
- 检测:进程内长时间残留明文 flag;异常 WQE 自修改/手工 doorbell 行为。