URL 相似去重(recon 采集压缩):URL 结构分段加权 SimHash + 汉明距离阈值,替代通用分词 SimHash
pentest/recon · verified
一句话结论
对 waybackurls/爬虫批量采集到的海量 URL,先按 URL 结构(scheme、host:port、path 各段、参数各段、fragment)分段并分配权重构建特征,再做 64 位 SimHash 指纹,用汉明距离换算成百分比做阈值聚类去重;相比把 URL 当普通文本分词的通用 SimHash,这种结构化权重更贴合 URL 语义,能在保留不同路径/参数端点的同时压掉时间戳、缓存参数等近重复 URL。
原理
- SimHash 基础:把文本切成特征,每个特征用哈希函数(如 FNV-1a 64)得到 64 位值并按权重累加:某一位为 1 加权重、为 0 减权重,得到 64 维整数向量;最后按向量元素正负二值化(
v[i] >= 0置 1)生成 64 位指纹。相似内容指纹只有少数位不同,属局部敏感哈希(LSH)。 - 相似度换算:两个指纹异或后统计 1 的个数即汉明距离
d;相似度 = 100 - d/64*100。Google 在 80 亿网页规模的经验值是 64 位指纹 +d <= 3可作为近重复临界(约 95%)。 - URL 结构权重是本卡的关键差异:通用分词把 URL 当普通字符串,
https://a.com/x/y/1.jpg与https://a.com/x/y/2.jpg的相似度可能很低(原文对照实现只有 0.69)。把 URL 拆成五个部分并分配总权重 10:fragment 0.5、scheme 0.5、params 2、path 3、host:port 4;path 按/拆段、params 按&拆段,每段均分父权重,host 权重最高、协议/锚点最低,使相似度随 URL 结构呈梯度变化。 - 归一化细节:path 中连续
//折叠为/并去掉首个/,params 中&&折叠为&;解析依据 RFC 3986(scheme/host/path/query/fragment),无 scheme 的相对路径、user:pass@host、IPv6[..]、host 百分号解码等 Gonet/url细节会影响特征提取质量,自己实现解析时要对齐。 - 为什么有效:去重目标是“结构上很接近但代表不同测试端点”的 URL 集合;按段加权后,host/path 层级变化会显著降低相似度(不会被误合并),而时间戳、随机缓存参数只影响 params 小权重段(容易被阈值合并)。
- 局限:原文只做了小样本(100 条左右真实 URL)实验,阈值 80/90/95 的效果需要按数据集校准;文章称目前没有单一通用方案,仍需“归一化 + 权重/阈值 + 高效相似度计算”的系统化组合。
触发条件
- recon 流程已产出大批 URL(如 subfinder → httpx → waybackurls 得到数千条历史 URL)。
- URL 集合中存在大量近重复:
?v=时间戳、?t=随机数、分页参数、同一路径不同参数顺序等。 - 目标是压缩后续扫描/测试队列,同时不能把仅路径层级或主机不同的端点误合并。
- 有可调阈值空间(通常从 80/90/95 三档试起)。
利用步骤
- 采集:ICP/主域名 →
subfinder子域 →httpx存活探测 →waybackurls拉历史 URL(原文 5280 条)。 - 预处理:先过滤明显静态后缀(js/css/json/png/jpg/html/xml/zip/rar/gif 等)与过短/过长 URL,把测试集降到可控规模。
- 对每条 URL 按结构分段提取特征并赋权(fragment .5 / scheme .5 / params 2 / path 3 / host 4,路径与参数按分隔符均分)。
- 计算 64 位 SimHash 指纹,两两/聚类比较汉明距离,换算百分比。
- 按阈值输出“低于阈值”的独特 URL 供后续漏洞测试;“高于阈值”的视为近重复丢弃或单独抽检。
- 用少量已知正负样本校准阈值后再批量跑量。
PoC
核心相似度与汉明距离(Kernighan 法,v &= v-1 只循环 1 的个数):
func hamming(a, b uint64) uint8 {
v := a ^ b
var c uint8
for ; v != 0; c++ {
v &= v - 1
}
return c
}
func similarity(a, b uint64) float64 {
return 100 - float64(hamming(a, b))/64.0*100
}
URL 结构特征构建要点(伪代码):
weights = {fragment:0.5, scheme:0.5, params:2, path:3, host:4} // total 10
u = parse(url) // scheme, host:port, path, query, fragment
path = strings.ReplaceAll(path, "//", "/"); path = strings.TrimPrefix(path, "/")
query = strings.ReplaceAll(query, "&&", "&")
features = [(scheme, 0.5), (host, 4)]
for seg in split(path, "/"): features += (seg, 3/len(pathSegs))
for seg in split(query, "&"): features += (seg, 2/len(paramSegs))
for f in features: fp ^= simhash64(f.value, f.weight)
采集与过滤示例(工具为原文作者实现,可按同等功能替换):
subfinder -dL icp.txt | httpx -t 100 | waybackurls > all_waybackurls.txt
cat all_waybackurls.txt | MoreFind --filter="js,css,json,png,jpg,html,xml,zip,rar,gif" \
| MoreFind dedu --smart -t 5 | MoreFind -l 50-2000 | shuf | head -n 100
原文小样本结果:阈值 80/90 时 100 条 URL 中分别有 92/85 条被判相似;阈值 95 时能保留典型“同路径不同参数/层级”的独特 URL。
变体与关联
- 通用分词 SimHash 对照:把 URL 当普通文本、base64 后按 4 字节切块、crc32 32 位、按词频 5 档加权,明显相似的 URL 相似度只有 0.69,且阈值下调时 URL 数量近似每 10% 减半、没有清晰梯度,不适合 URL 这种强结构文本。
- 与
pentest-recon-waybackurls-historical-url-asset-discovery衔接:waybackurls 负责“找 URL”,本卡负责“在进入扫描前压缩近重复 URL”。 - 与
pentest-recon-response-similarity-bag-of-words-cosine-sqli-idor-soft404互补:那张卡用响应相似度做测试 oracle,本卡用 URL 相似度做采集去重。 - 性能点:汉明距离用 Kernighan 法;指纹/向量分离;必要时用分桶(按位切段)加速海量比较。
检测与防御
- 本卡是 recon 侧效率技巧,不是攻击手法,无直接检测/防御意义。
- 对防守方的间接启示:历史 URL、缓存参数与已下线端点会扩大攻击面;应清理历史泄露、限制不再使用路径的可达性、对批量枚举/爬取做频率限制与告警。
- 若在防守侧复现相似度聚类(如告警降噪),同样需要对 URL 结构权重与阈值做校准,避免把不同端点误合并。