词袋 + 余弦响应相似度作为测试 oracle:SQL 语法差分判注入、越权响应同源判定与 200 软 404 降误报
pentest/recon · verified
一句话结论
把两次 HTTP 响应文本先去除标点与 HTML 标签、分词后构建词袋词频向量,再用余弦相似度比较:相似度明显下降可判断 SQL 正确/错误语法造成了页面差异(注入 oracle);相似度很高说明越权请求拿到了与合法用户几乎相同的页面(越权成功);把随机不存在路径的 200 响应作为基线,高相似度则识别出返回 200 的软 404(路径枚举降误报)。
原理
- 两步映射:文本相似度 = 先把文本映射成数值向量,再计算向量距离/相似度。文章用词袋模型(bag-of-words)+ 余弦相似度:分词(jieba)→ 用 set 汇总所有不重复词构建词表 → 对每段文本统计词表中每个词的出现次数得到等长词频向量 →
cos = dot(a,b) / (|a|·|b|)。 - 为什么忽略词序也可用:词袋只统计词频、不考虑先后顺序。对本文三个场景而言,判断依据是「页面包含的词语集合/频次是否发生实质变化」而不是语序,因此词序影响很小;代价是对同词不同序的差异不敏感,遇到依赖顺序的场景需要改用 n-gram 或序列模型。
- SQL 注入 oracle:构造一对请求——一个使用正确 SQL 语法、一个使用错误语法(或不同闭合/运算符),若后端存在注入,两者走的 SQL 分支不同,响应内容差异明显,余弦相似度下降;正常参数化查询下两次响应应几乎一致。相似度阈值越低越敏感,可感知盲注场景中细微的页面变化。
- 越权 oracle:越权的判定依据是「低权限用户访问到了高权限/他人资源」,其响应应与资源所有者看到的页面高度相似甚至完全相同;因此把「用另一个账号/权限标识符发出的请求响应」与「原始合法请求的基线响应」比较,相似度高即疑似越权。与 SQL 注入相反,这里关注的是相同点。
- 软 404 降误报:路径枚举时很多站点对不存在的路径也返回 200,只在正文里写「页面不存在」。先随机访问一个肯定不存在的路径得到基线页面,再把探测到的 200 响应与基线比较:高度相似说明是假 404,应丢弃;差异明显才可能是有效页面。
- 预处理:接口响应(JSON/XML/纯文本)先去掉标点等无实质内容的特殊符号;HTML 响应用
<[^>]+>去标签、压缩空白。文章有意不去停用词,避免去掉可能影响判断的词。纯 JS 动态渲染的页面在服务端响应层面差异很小,此法容易失效。
触发条件
- 目标响应是可获取正文的文本类内容(HTML/JSON/XML/纯文本),且两次请求可在同一会话下稳定复现。
- SQL 注入检测:能构造「正确语法 vs 错误语法」的对照请求,且后端错误/分支差异会反映到响应中;盲注场景需要响应有可测量的细微变化。
- 越权检测:能拿到一个合法用户/资源所有者的基线响应,以及替换权限标识符/资源标识符后的测试响应;删除等有状态操作需要先发一次原始请求再取第二次响应作为对照,避免用「第一次成功、第二次空」造成误报。
- 路径枚举:站点对不存在路径返回 200 + 自定义错误页,且随机路径的基线页面可稳定获取。
- 响应中不包含每次请求都变化的大量动态噪声(或需要先做归一化),否则相似度不可用。
利用步骤
- SQLi:对同一参数分别发送正确语法与错误语法的请求,取两份响应正文;预处理后用词袋+余弦计算相似度,低于阈值判为可能存在注入;对盲注可调低阈值提高敏感度,并结合多次采样排除动态噪声。
- 越权(Burp 半自动):手工把待测 URL 加入插件,记录原始请求并重放两次保存响应;循环替换请求中的权限标识符为其他账号的值,发送后与基线响应比较,相似度高则标记「疑似越权/未授权」;对 500/504 等错误额外重试一次减少误报。
- 路径枚举:先请求一个随机不存在的路径作为软 404 基线;对返回 200 的目标路径与基线做相似度比较,高相似度判为误报丢弃,差异明显再人工确认。
- 对每个场景用少量已知正/负样本校准阈值(不同站点页面差异程度不同),再批量跑量。
PoC
import re, jieba, numpy as np
from numpy.linalg import norm
def prepare_text(text): # 去标点(保留字母数字下划线与空白)
return re.sub(r"[^\w\s]", "", text)
def html_prepare(html): # HTML 去标签、压缩空白
text = re.sub(r"<[^>]+>", "", html)
return re.sub(r"[\s]+", "", text)
def word_bag(*texts): # 构建词表
s = set()
for words in texts:
s.update(words)
return list(s)
def word_to_vector(words, bag): # 词频向量
vec = np.zeros(len(bag))
for i, w in enumerate(bag):
for x in words:
if w == x:
vec[i] += 1
return vec
def cos_sim(a, b):
return float(np.dot(a, b) / (norm(a) * norm(b)))
# 1) SQLi:正确语法 vs 错误语法
r1 = html_prepare(requests.get(url, params={"id": "1"}).text)
r2 = html_prepare(requests.get(url, params={"id": "1'"}).text)
bag = word_bag(jieba.lcut(prepare_text(r1)), jieba.lcut(prepare_text(r2)))
print("sqli similarity:", cos_sim(word_to_vector(jieba.lcut(r1), bag),
word_to_vector(jieba.lcut(r2), bag)))
# 2) 越权:测试响应 vs 合法用户基线响应(高相似度 = 疑似越权)
# 3) 软 404:随机路径 200 响应作为基线(高相似度 = 假 404,丢弃)
变体与关联
- 向量化升级:词袋可换 TF-IDF(降低高频词权重)、Word2Vec/句向量(考虑语义)、字符 n-gram(对中文/短文本更稳);相似度可换 Jaccard、编辑距离、SimHash 汉明距离。
- 噪声处理:动态页面需先把时间戳、UUID、CSRF token、随机串归一化,并做多次基线采样,否则相似度波动会淹没真实差异;这与「动态页面差分 Fuzz」的多维相似度思路互补。
- 阈值即灵敏度:阈值高偏向低误报(适合批量),阈值低偏向发现盲注类细微变化(适合精测);应结合状态码、长度、关键字(SQL 报错、异常栈)等信号综合判定,而不是只看单一相似度。
- 验证码图标的模板匹配:文中提到黑灰产对点选验证码用图标模板相似度定位坐标再自动点击,原理同属「图像/文本相似度作为判定器」,但原文未展开实现,此处仅记思路。
- 关联:与「动态页面差分 Fuzz(归一化 + 多维相似度)」同一类响应差分思路;越权部分与多会话权限矩阵/LeakScore 自动化检测互补;SQLi 命中后仍需按具体注入类型人工验证。
检测与防御
- SQLi 侧:统一错误页、不返回数据库报错/异常栈;参数化查询消除正确/错误语法差异;对同一参数的高频变体请求做速率限制与告警。
- 越权侧:所有资源访问在服务端按会话身份做对象级授权校验,不依赖前端隐藏;统一 403/404 响应,避免通过响应差异判断资源是否存在。
- 软 404 侧:对不存在路径返回真正的 404 状态码与统一页面;避免自定义错误页与正常页面结构过于接近。
- 通用检测:同一会话短时间对不同 URL/参数做相似请求、响应长度与内容频繁变化、User-Agent 为 Burp/脚本工具等,可作为自动化差分测试的流量特征;对返回内容做动态噪声归一化并不能阻止测试,但能降低攻击者判定效率。