大规模 JS 硬编码密钥筛查:信息熵 + 词汇占比 + 长度校准与动态阈值
pentest/recon · verified
一句话结论
从海量前端 JS 字符串中找硬编码密钥,可以不堆正则,而用“归一化香农熵(随机性高)+ 分词词典命中率(自然语言占比低)+ 8~64 长度区间与 Sigmoid 长度校准”三个正交统计特征做线性评分,再经 Sigmoid 映射和约 0.72 的动态阈值筛出候选,并用路径/URL 规则与敏感关键词提权兜底;原文在 1397/1937 条测试集上算法阶段精确率约 80%、召回率约 89%,能把万级字符串压缩到几十条交给人工或 LLM 复核。
原理
- 问题抽象:硬编码密钥发现被建模为字符串二分类——输入 JS 中的字符串字面量,输出“疑似敏感信息/普通代码字符串”。工程约束是高召回(真实密钥检出 >80%)、误报可控(<50%)、离线轻量、无外部 API 依赖。
- 特征一:归一化香农熵 E(s)。密钥通常来自随机数生成器或密码学算法,字符分布均匀、缺少可读拼写;用字符频率计算的香农熵再按长度归一化,可消除长度对熵值的影响。随机串熵高,
userProfile、fetchData这类标识符熵低。 - 长度校准:短串因采样不足会出现熵值虚高(例如 6 位短口令也可能算出高熵),原文引入 Sigmoid 衰减因子压制短串、保留长串;校准中心与衰减速率来自本地实验,原文公式在渲染时丢失,只保留了“短串压制、长串保留”的设计意图。
- 特征二:词汇占比 P(s)。用分词与词典匹配量化字符串的“人类语言”程度:
wordninja分词结果与驼峰切分(Uint8Array → ['uint','8','array'])取并集去重,再与 NLTK 通用词典 ∪ 技术词表(api、token、config等)比对;密钥很少有完整英文单词,命中率通常低于 30%。 - 评分与决策:基础分为正向熵特征与负向词汇占比特征的线性加权(原文负向权重略高,以优先把边界样本判为正常代码、控制误报;具体权重值在原文公式中缺失);随后经 Sigmoid 映射为概率,并按长度采用动态阈值,典型判定阈值约
0.72。阈值与权重均为本地实验值,原文明确说明“非最优解”。 - 工程兜底:路径/URL 正则(
^\.{0,2}/[a-zA-Z0-9_./-]+$)直接排除,因为真实密钥不会以./、../、/开头;字符串含password、token、secret、api_key时分数乘1.2(上限 1.0),用轻量语义信号提升边界召回。 - 流水线:
CodeLineFilter(长度/编码/黑名单预处理)→AdvancedSecretFilter(路径拦截 + 评分 + 动态阈值)→SecretMathScorer(E/P 正交特征)→LLMSecretVerifier(原文评估未启用,设计上用于二次验证并给出测试建议)。 - 为什么有效:密钥与普通标识符的差异是统计分布差异,而不是固定前缀/格式差异;正则只能覆盖已知格式,熵 + 词汇占比能覆盖“没有固定格式但字符分布异常”的随机串。代价是 UUID、GUID、SHA-256 摘要和重度混淆变量名在数学特征上与密钥不可分,必然进入候选。
- 重要限制:原文的 LaTeX 公式(熵归一化、长度校准、线性加权、Sigmoid 映射的具体表达式与权重)在正文中未渲染出来,仅保留阈值
0.72、权重方向与文字描述。因此该卡只能复现方法论与流程,无法逐字复现原作者评分;实际使用需自行标定参数。
触发条件
- 有一批待扫描的前端 JS/打包产物或任意字符串语料(规模越大收益越明显)。
- 可离线安装
wordninja与 NLTK 词典,并能补充技术词表。 - 有少量已标注样本用于校准阈值;直接套用
0.72只能作为起点。 - 接受“统计异常不等于可利用”:输出是候选集,必须再做 AST 上下文、密钥有效性(JWT 解码、云厂商鉴权、API 调用)或人工/LLM 复核。
利用步骤
- 收集字符串:抓取目标站点 JS、source map、webpack chunk,用 AST 或正则提取字符串字面量;同时保留所在文件、变量名、赋值上下文等线索。
- 预处理:按 8~64 长度区间过滤,剔除明显编码块、证书片段、纯路径/URL、黑名单词;短于 8 的弱口令/占位符单独走关键词规则。
- 计算特征:对每个字符串计算归一化香农熵 E、长度校准因子、
wordninja + 驼峰切分的词典命中率 P。 - 评分:
score = sigmoid(w_E * E + w_P * (1 - P) + b),按长度动态阈值判定;权重与阈值用本地正负样本调参,原文起点为阈值0.72、负向权重略高。 - 规则兜底:命中路径/URL 正则直接丢弃;含敏感关键词的边界样本乘
1.2提权。 - 二次验证:对高分候选检查 AST 上下文(是否赋给
apiKey、secret、请求头、加密函数参数),尝试解码/调用验证有效性;无法验证的只记为“疑似”。 - 规模化:把候选从万级压缩到几十条后,再人工或 LLM 逐条裁决;不要把评分本身当作漏洞结论。
PoC
原文只给出片段与架构,核心实现依赖其开源项目 JScanner2/processor/analysis/secret/secret_scanner.py。以下为按文章描述重建的最小特征/评分骨架(权重与校准参数需自行标定,非原文精确实现):
import math, re
from collections import Counter
def norm_entropy(s: str) -> float:
if not s:
return 0.0
counts = Counter(s)
n = len(s)
h = -sum((c / n) * math.log2(c / n) for c in counts.values())
return h / math.log2(len(counts)) if len(counts) > 1 else 0.0
def camel_split(s: str):
return re.findall(r'[A-Z]?[a-z]+|[A-Z]+(?=[A-Z]|$)', s)
# 需安装 wordninja 与 NLTK 词典;TECH_WORDS 手工补充
def word_ratio(s: str, vocab: set) -> float:
all_words = set(wordninja_split(s) + camel_split(s)) # noqa: F821
if not all_words:
return 0.0
return sum(1 for w in all_words if w.lower() in vocab) / len(all_words)
def length_factor(n: int, center=12, rate=0.5) -> float:
# 原文公式未渲染;此处为“短串压制、长串保留”的示意实现
return 1.0 / (1.0 + math.exp(-rate * (n - center)))
def is_path_or_url(text: str) -> bool:
return bool(re.match(r'^\.{0,2}/[a-zA-Z0-9_./-]+$', text))
def score_string(s: str, vocab: set, w_e=0.6, w_p=0.4, threshold=0.72) -> bool:
if not (8 <= len(s) <= 64) or is_path_or_url(s):
return False
e = norm_entropy(s) * length_factor(len(s))
p = word_ratio(s, vocab)
x = w_e * e + w_p * (1 - p)
score = 1.0 / (1.0 + math.exp(-x)) # Sigmoid 映射
if any(k in s.lower() for k in ('password', 'token', 'secret', 'api_key')):
score = min(score * 1.2, 1.0) # 敏感关键词提权
return score >= threshold
原文评估(仅算法阶段,未启用 LLM 验证):
- 测试集 A:1397 条样本、19 条真实密钥;阈值
0.72输出 21 条阳性,命中 17 条;Accuracy 99.86%、Precision 80.95%、Recall 89.47%、F1 85.00%。 - 测试集 B:1937 条样本(UUID/GUID/URN/Hex 哈希/密钥)、9 条真实正样本;输出 10 条阳性(TP 8、FP 2、FN 1);Accuracy 99.84%、Precision 80.00%、Recall 88.89%、F1 84.21%。
- 已知边界:
evp_...ey(OpenSSL 函数名)得分 0.68 属高分误报;P@ss1!因长度衰减得分 0.69 漏报,需靠关键词提权或短串阈值下限补偿。
以上指标为原文自报,未在本卡独立复现。
变体与关联
- 语言变体:方案只针对 JS 实现,但熵/词汇占比/长度特征与语言无关,可平移到 Python、Java、Go 等源码与配置文件扫描。
- 与正则方案互补:正则擅长已知格式(AK/SK 前缀、JWT 三段式),统计方法擅长无固定格式的随机串;生产上可先用正则拿高置信命中,再用本方法扩召回。
- 误报治理:UUID/GUID、URN、SHA-256 摘要、重度混淆变量名与密钥在高熵低语义维度不可分,必须靠 AST 上下文(是否流向请求头/鉴权/加密)或 LLM/人工二次裁决。
- 关联卡片:[[pentest-recon-frontend-obfuscated-js-hardcoded-credentials]](人工提取混淆 JS 中的硬编码账号密码)、[[pentest-recon-frontend-js-aes-key-encrypted-credential-mqtt-validation]](硬编码 AES 密钥解出凭据并实测权限)、[[pentest-recon-webpack-apiurlkey-endpoint-extraction]](从打包产物提取隐藏端点与密钥);本卡提供的是前置“候选压缩”环节。
- 工具来源:原文附录指向 JScanner2 的
secret_scanner.py,完整实现可参考该项目;本卡不复制其代码。
检测与防御
- 对防守方:不要在前端 JS 中放置任何长期密钥、Token、AK/SK;前端可见即视为已泄露。敏感操作放后端,使用短时效、按用户/会话绑定、可吊销的凭证。
- 工程治理:在 CI 中接入 secret scanning(正则 + 熵检测组合),对打包产物做发布前扫描;禁止 source map 与调试接口在生产暴露。
- 检测本方法本身:如果作为攻击方侦察,扫描流量通常表现为批量拉取 JS/静态资源后无后续利用请求;防守方可通过静态资源访问频率、异常 UA/爬虫特征发现,但这不是主要风险面,核心仍是不要把密钥放到前端。
- 使用本方法时:把输出严格标注为“疑似”,建立人工复核与有效性验证流程;定期用新样本重标定阈值,避免跨站点直接套用
0.72造成误报/漏报。