AI Skill 安装前检测:多引擎路由聚合 + LLM 仲裁与 SkillSieve 三层
defense/detection · verified
一句话结论
单家 Skill 扫描器的盲区各不相同——原文实测把编码、结构重打包、语义改写逐层叠加后,多平台基线检出率从 99% 跌到 10%——因此把同一 Skill 按能力画像路由到多家云/私有化/开源引擎,统一 Finding Schema 与 verdict 映射,再由 LLM 按证据强度与引擎历史权重仲裁,并用 SkillSieve 的静态分诊→语义拆解→多模型陪审团做本地兜底,可以互相覆盖盲区,而不是重复造一个“全能扫描器”。
原理
- 为什么单引擎不够:规则型引擎依赖可枚举特征,语义型引擎依赖显性恶意表述,沙箱只看运行时行为;编码/压缩、SFS 结构重打包、跨文件引用、语义改写分别打掉不同假设。原文实验按 A(编码/压缩)、B(结构重打包)、C(语义改写)、D(组合)叠加,基线 99% → 10%,且塌缩非线性:加上 B 后连具备语义判定能力的引擎也开始漏报。
- 路由层:为每家引擎维护能力画像(覆盖类别、单包大小上限、平均时延、计费),按样本特征选择子集而非全量广播;敏感样本只送私有化/本地部署端点;异步 fan-out,任一引擎超时(默认 30s)即在路由元数据标记“缺席”,不阻塞整体裁决;以样本哈希缓存判定。
- 归一化:把各家千差万别的输出映射为统一 Finding Schema(
vendor、verdict、severity、category、evidence{file,line}、confidence),并把 MALICIOUS/Fail/勿安装/高危 → malicious,SUSPICIOUS/注意/可疑/评分≥60 → suspicious,SAFE/Pass/clean/评分<60 → clean。 - LLM 仲裁:输入为统一 Finding 集 + 证据摘录 + 路由元数据;职责是冲突仲裁(按证据强度 × 引擎在该类别上的历史权重,而非少数服从多数)、误报削减(规则命中但证据链不闭合则降权并写理由)、理由生成。经验规则兜底:≥2 家 malicious 直接阻断;仅 1 家 malicious 由 LLM 核查证据;全 clean 但能力画像高危(加密包/超大填充/远程拉取)仍要复核;仅 1 家 suspicious 进变更监控队列。
- SkillSieve 三层兜底:第一层静态分诊(快速扫描器 + 规则引擎 + AST,明显恶意直接拦截);第二层语义拆解(意图识别、动作流分析、参数检查、权限评估);第三层多模型陪审团(三个异构模型 VOTE/CONSENSUS,输出安全/可疑/人工复核)。
- 为什么有效:不同引擎的盲区不重合,聚合后的召回率高于任何单家;LLM 只做“证据仲裁”而非“凭感觉判毒”,并保留证据与理由,可审计。
触发条件
- 需要在 Skill 市场/企业入口做批量安装前检测,单家引擎覆盖不足或误报/漏报不可接受。
- 可接入多家云 API、私有化或开源自部署引擎(原文列出 13 家,覆盖三类形态)。
- 能对样本做哈希、能力画像、合规分级与异步调度。
- 有 LLM 可用于仲裁,且能对证据文本做隔离/防注入处理。
- 需要本地兜底或数据不出网的场景,可部署 SkillSieve。
利用步骤
- 盘点引擎:记录每家引擎的覆盖类别、大小上限、时延、计费、部署形态与历史基准(示例:Skill Vetter F1 0.9659;Cisco Skill Scanner 召回尚可但误报率约 24%;NVIDIA SkillSpector 误报少但漏报多)。
- 建路由:按能力画像选择子集;敏感样本只路由到私有化/本地端点;设置并发、超时(30s)与缺席标记;以样本哈希缓存结果。
- 归一化:实现 verdict 映射与 Finding Schema;保留文件/行号证据与置信度。
- LLM 仲裁:把统一 Finding + 证据摘录 + 路由元数据送入 LLM;按“证据强度 × 引擎历史权重”裁决;强制输出理由与处置建议;对证据文本做提示注入隔离。
- SkillSieve 兜底:静态分诊 → 语义拆解 → 多模型陪审团;与外部引擎并列接受路由调度。
- 运营:用 SkillTrustBench 等公开基准持续校准权重;把裁决与 IOC 回灌;对“全 clean 但高危画像”的样本进变更监控队列而非直接放行。
- 验证:用已知恶意/良性样本做回归,统计各引擎与聚合后的召回、误报、时延;对 LLM 仲裁做提示注入测试。
PoC
统一 Finding Schema:
{
"vendor": "engine-a",
"verdict": "malicious",
"severity": "high",
"category": "credential-theft",
"evidence": {"file": "index.js", "line": 287},
"confidence": 0.92
}
路由与仲裁骨架(Python 伪代码):
def route(sample, engines):
return [
e for e in engines
if e.max_size >= sample.size
and (not sample.sensitive or e.private)
and e.covers(sample.category)
]
def arbitrate(findings, engine_weights):
# 经验规则兜底
malicious = [f for f in findings if f["verdict"] == "malicious"]
if len(malicious) >= 2:
return "malicious", "two or more engines agree"
# 其余交给 LLM:证据强度 × 引擎历史权重
return llm_arbitrate(findings, engine_weights)
SkillSieve 流程:
Static Triage (scanner + rules + AST) -> 明显恶意直接拦截
Structured Semantic Decomposition (intent/action/params/permissions)
Multi-LLM Jury (VOTE/CONSENSUS) -> safe / suspicious / manual review
变体与关联
- 权重变体:按类别维护引擎权重(某引擎对字节码强、另一家对语义改写强);用公开基准与自有样本持续校准;对“召回高但误报高”的引擎降 suspicious 权重,对“误报少但漏报多”的引擎降 clean 权重。
- 部署变体:纯云 API、私有化、开源自部署、混合;敏感样本合规路由。
- 仲裁变体:规则矩阵、贝叶斯融合、LLM 陪审团、人工复核队列。
- 关联卡片:[[defense-detection-agent-runtime-fuse-ebpf-uprobe-tracing]](运行时兜底)、[[ai-security-supply-chain-poisoned-pyc-source-bytecode-mismatch]](静态检测失效案例)、[[ai-security-supply-chain-doubao-claw-fake-skill-setup-js-remcos]](恶意 Skill 样本)。
- 边界:LLM 仲裁本身可能被证据文本中的提示注入影响;引擎 API 有限流/大小限制;缓存可能固化错误判定;聚合不能弥补所有引擎共同缺失的检测面(例如完全无文件落地的运行时攻击)。
检测与防御
- 防证据注入:把各家证据当作不可信数据,隔离在明确的数据块中;不要让证据文本覆盖仲裁系统提示;对证据做长度/字符集限制与摘要。
- 防缓存污染:缓存键包含样本哈希与引擎版本;对裁决结果设置过期与复核机制;恶意样本哈希不得因一次 clean 判定被永久放行。
- 可观测性:记录路由决策、缺席引擎、各 Finding、LLM 理由、最终处置;对“全 clean 但高危画像”与“单家 suspicious”单独统计。
- 防御纵深:安装前聚合检测只是第一层;运行时仍需 FUSE/eBPF/uprobe 行为审计与蜜罐;对 Skill 做签名、来源审核与最小权限。
- 运营:定期用 SkillTrustBench/自有样本回归;跟踪各引擎版本与规则更新;把新发现的绕过手法反馈到路由权重与规则库。