♧ Godown 安全知识树

MalwareTotal:深度强化学习驱动 PE 恶意样本多面序列变异,绕过 EMBER/MalConv 与商业静态检测

ai-security/adversarial-examples · verified

一句话结论

MalwareTotal 把“让恶意 PE 躲过静态检测器”建模成序列决策问题:以 EMBER(2381 维)或 MalConv(1048576 维)提取的特征向量为状态,用 PPO/TRPO/A2C/DQN 等深度强化学习智能体在 24 维离散动作空间(文件头/可选头/DOS stub、节表、指令、文件冗余)中选择变异动作序列,以目标检测器的分数变化和是否逃逸为奖励,迭代生成既保持 PE 功能又能绕过检测的对抗样本;原文报告 PPO 在 MalConv/EMBER 上逃逸率 100%/98.67%,对 3 个商业杀软 95.33%/92.36%/98.52%,在 VirusTotal 多引擎上对部分引擎达到 100%。

原理

  • 问题形式化:设 x 为恶意 PE,f 为静态检测器,φ 为特征提取,y 为恶意标签,δ 为扰动,D 为合法 PE 域,M_x 为可操纵特征集合。目标是求 δ = argmin f(x+δ) != f(x),且 x+δ ∈ D;等价的约束形式为 x' = x+δ,满足 δ ∈ M_x、f(φ(x')) != y、f(φ(x)) = y——即扰动量最小、PE 仍合法、恶意功能不变,但检测器判为良性。
  • 为什么用强化学习:PE 变异动作(改头、改节、加 overlay、注入指令)之间存在顺序依赖,单个动作可能无效或破坏文件;贪心/随机搜索难以找到长序列。把变异过程建模为马尔可夫决策过程,用 RL 在“动作序列 → 检测器反馈”的稀疏奖励下学习策略,可以组合出跨特征面的逃逸序列。
  • 状态空间:EMBER 检测器环境把样本特征建模为长度 2381 的一维向量;MalConv 环境为长度 1048576 的一维向量。状态即当前 PE 在目标检测器特征空间中的表示。
  • 动作空间:24 维离散动作,分为四类——文件头空间(文件头变异、可选头变异、DOS stub 变异)、节区空间(节伪造、节填充、节重命名)、指令空间(指令重排序、压缩、加密)、文件冗余空间(字符串注入、二进制注入、良性内容注入)。具体动作集见 [[pentest-c2-pe-mutation-actions-static-detection-evasion]](原文幻灯片标注 24 维,但动作表仅列出 23 项,两者存在差异)。
  • 奖励设计:逃逸成功奖励 Reward_1 = 10;逃逸过程中的动态奖励为当原始检测分数高于当前分数时给予正向反馈(if ori.score > curr.score);未逃逸奖励 Reward_3 = 0。这样智能体既追求最终逃逸,也被引导逐步降低恶意分数。
  • 训练算法:原文比较了 ARS、A2C、DDPG、DQN、HER、PPO、QR-DQN、SAC、TD3、TQC、TRPO、Maskable PPO;PPO/TRPO 在稳定性和逃逸率上表现最好,DQN 较弱。
  • 功能保持:动作库中的每个动作都在 1000 个样本上验证过“功能存活率 100%”——变异后的 PE 仍能被加载/执行,避免为了逃逸把样本改坏。这也是该方法区别于随机字节破坏的关键。
  • 评估维度:逃逸率、功能完整性、迁移能力(对未见检测器的效果)、静态分析难度、逃逸文件大小、查询效率(商业杀软按查询次数计费/限速),以及无训练变异器评估。
  • 防御侧发现:用 MalwareTotal 生成的对抗样本做对抗训练(MalwareTotal AdvTr)可把各类攻击的成功率从 1.0 压到约 0.1–0.2(原文图 b:Ours 约 0.1,GS/GP/Shift 约 0.2–0.25);而只用 GS/GP/Shift 基线样本做对抗训练时,对应基线攻击降到约 0.1–0.2,但 MalwareTotal 的攻击成功率仍维持约 0.85(原文图 a),说明对抗训练需覆盖目标攻击策略。这说明静态 ML 检测器可以通过对抗训练提升鲁棒性,但需要持续跟进新变异策略。

触发条件

  • 攻击者持有可执行的恶意 PE 样本,并能在保留功能的前提下修改其结构(见动作库卡)。
  • 目标使用静态机器学习检测器(EMBER/MalConv 类特征模型)或商业静态杀软;检测器可被查询(黑盒)或特征可计算(白盒)。
  • 攻击者具备强化学习训练环境与算力,能承受对商业杀软/VirusTotal 的大量查询(原文商业杀软实验查询数万次、耗时数十小时)。
  • 目标没有强行为/动态检测、内存扫描或沙箱联动;仅绕过静态层。
  • 仅限授权安全研究与防御评估。

利用步骤

  1. 准备数据集:VirusShare/VirusTotal 等来源的恶意 PE(原文 10240 个样本,8192 训练/2036 测试),并准备良性样本用于功能与误报对照。
  2. 为目标检测器建模环境:学术模型(EMBER 2381 维、MalConv 1048576 维)直接取特征;商业杀软用查询接口返回的检测结果/分数作为环境反馈。
  3. 定义动作空间与合法性约束:头/可选头/DOS stub、节表、指令、文件冗余四类动作,确保每步变异后 PE 仍可加载(参考动作库卡)。
  4. 设计奖励:逃逸 +10、分数下降给动态奖励、未逃逸 0;按检测器查询预算调整奖励权重。
  5. 训练 RL 智能体:优先 PPO/TRPO,比较 DQN/A2C 等;记录每轮逃逸率、查询次数、耗时。
  6. 生成对抗样本并验证:功能存活测试、目标检测器复测、跨模型迁移测试;对商业杀软/VirusTotal 做黑盒评估。
  7. 评估防御:用生成的样本做对抗训练,观察攻击成功率下降;持续迭代新动作/新策略以避免过拟合到旧检测器。

PoC

目标函数与奖励(原文公式的简化表示,未执行):

δ = argmin_δ f(x + δ) != f(x),  s.t. (x + δ) ∈ D
x' = x + δ,  s.t. δ ∈ M_x,  f(φ(x')) != y,  f(φ(x)) = y

reward:
  逃逸成功            -> +10
  ori.score > curr.score -> 动态正向奖励
  未逃逸              -> 0

实验规模与结果(原文数据,供复现参考):

项目 设置
数据集 10240 个恶意 PE(8192 训练 / 2036 测试)
状态维度 EMBER 2381;MalConv 1048576
动作空间 24 维离散(头/可选头/DOS stub、节、指令、文件冗余)
算法 PPO、TRPO、A2C、DQN 等 12 种
学术模型逃逸率 PPO:MalConv 100%、EMBER 98.67%
商业杀软逃逸率 AV1 95.33%、AV2 92.36%、AV3 98.52%
防御 MalwareTotal AdvTr 把各攻击 ASR 从 1.0 降到约 0.1–0.2(MalwareTotal 自身约 0.1);基线 AdvTr 不降低 MalwareTotal 的 ASR(仍约 0.85)

原文公开了论文与代码(MalwareTotal,ICSE 2024);本卡不复述完整实现,训练与查询细节需参考原项目。

变体与关联

  • 动作库:[[pentest-c2-pe-mutation-actions-static-detection-evasion]](23 种功能保持变异动作的完整清单)。
  • 同族静态 PE 对抗:[[pentest-c2-pe-import-camouflage-section-layout-randomization]](源码级导入表伪装与段布局重排,和本卡的二进制级 RL 变异互补)。
  • 同思路迁移:[[ai-security-adversarial-examples-code-semantics-preserving-transform-vd-evasion]](对代码漏洞检测模型做语法/语义保持变换,与本卡对 PE 检测器做功能保持变异同构)。
  • 防御:[[ai-security-data-poisoning-pgd-adversarial-training-defense]](对抗训练的一般方法;本卡展示其在恶意软件检测器上的效果)。
  • 边界:仅对静态检测有效,行为/动态检测、内存扫描、沙箱联动仍可发现;商业杀软查询有配额/成本;迁移到未见检测器的效果有限;过度变异会引入新的结构异常特征。

检测与防御

  • 对抗训练:把当前变异策略生成的样本加入训练集,持续迭代;原文显示可把攻击成功率压到约 0.1,但对新策略仍需重新训练。
  • 检测器加固:集成多模型/多特征面(结构、字节、行为)、特征压缩、随机化预处理,降低单一特征被扰动的敏感度;监控异常查询模式(同一来源大量提交变体)。
  • 动态/行为分析:静态层被绕过不代表沙箱/EDR 看不到行为;对高风险样本追加动态分析。
  • 结构异常检测:overlay 异常增大、签名缺失、时间戳/校验和异常、节名熵高、DOS 头被改写等都可作为补充特征(见动作库卡)。
  • 红队/研究边界:仅在授权范围内做检测器评估;商业杀软/VirusTotal 的大量查询可能违反服务条款,需使用自建/授权环境。