♧ Godown 安全知识树

URL 相似去重(recon 采集压缩):URL 结构分段加权 SimHash + 汉明距离阈值,替代通用分词 SimHash

pentest/recon · verified

一句话结论

对 waybackurls/爬虫批量采集到的海量 URL,先按 URL 结构(scheme、host:port、path 各段、参数各段、fragment)分段并分配权重构建特征,再做 64 位 SimHash 指纹,用汉明距离换算成百分比做阈值聚类去重;相比把 URL 当普通文本分词的通用 SimHash,这种结构化权重更贴合 URL 语义,能在保留不同路径/参数端点的同时压掉时间戳、缓存参数等近重复 URL。

原理

  • SimHash 基础:把文本切成特征,每个特征用哈希函数(如 FNV-1a 64)得到 64 位值并按权重累加:某一位为 1 加权重、为 0 减权重,得到 64 维整数向量;最后按向量元素正负二值化(v[i] >= 0 置 1)生成 64 位指纹。相似内容指纹只有少数位不同,属局部敏感哈希(LSH)。
  • 相似度换算:两个指纹异或后统计 1 的个数即汉明距离 d;相似度 = 100 - d/64*100。Google 在 80 亿网页规模的经验值是 64 位指纹 + d <= 3 可作为近重复临界(约 95%)。
  • URL 结构权重是本卡的关键差异:通用分词把 URL 当普通字符串,https://a.com/x/y/1.jpg 与 https://a.com/x/y/2.jpg 的相似度可能很低(原文对照实现只有 0.69)。把 URL 拆成五个部分并分配总权重 10:fragment 0.5、scheme 0.5、params 2、path 3、host:port 4;path 按 / 拆段、params 按 & 拆段,每段均分父权重,host 权重最高、协议/锚点最低,使相似度随 URL 结构呈梯度变化。
  • 归一化细节:path 中连续 // 折叠为 / 并去掉首个 /,params 中 && 折叠为 &;解析依据 RFC 3986(scheme/host/path/query/fragment),无 scheme 的相对路径、user:pass@host、IPv6 [..]、host 百分号解码等 Go net/url 细节会影响特征提取质量,自己实现解析时要对齐。
  • 为什么有效:去重目标是“结构上很接近但代表不同测试端点”的 URL 集合;按段加权后,host/path 层级变化会显著降低相似度(不会被误合并),而时间戳、随机缓存参数只影响 params 小权重段(容易被阈值合并)。
  • 局限:原文只做了小样本(100 条左右真实 URL)实验,阈值 80/90/95 的效果需要按数据集校准;文章称目前没有单一通用方案,仍需“归一化 + 权重/阈值 + 高效相似度计算”的系统化组合。

触发条件

  • recon 流程已产出大批 URL(如 subfinder → httpx → waybackurls 得到数千条历史 URL)。
  • URL 集合中存在大量近重复:?v=时间戳、?t=随机数、分页参数、同一路径不同参数顺序等。
  • 目标是压缩后续扫描/测试队列,同时不能把仅路径层级或主机不同的端点误合并。
  • 有可调阈值空间(通常从 80/90/95 三档试起)。

利用步骤

  1. 采集:ICP/主域名 → subfinder 子域 → httpx 存活探测 → waybackurls 拉历史 URL(原文 5280 条)。
  2. 预处理:先过滤明显静态后缀(js/css/json/png/jpg/html/xml/zip/rar/gif 等)与过短/过长 URL,把测试集降到可控规模。
  3. 对每条 URL 按结构分段提取特征并赋权(fragment .5 / scheme .5 / params 2 / path 3 / host 4,路径与参数按分隔符均分)。
  4. 计算 64 位 SimHash 指纹,两两/聚类比较汉明距离,换算百分比。
  5. 按阈值输出“低于阈值”的独特 URL 供后续漏洞测试;“高于阈值”的视为近重复丢弃或单独抽检。
  6. 用少量已知正负样本校准阈值后再批量跑量。

PoC

核心相似度与汉明距离(Kernighan 法,v &= v-1 只循环 1 的个数):

func hamming(a, b uint64) uint8 {
    v := a ^ b
    var c uint8
    for ; v != 0; c++ {
        v &= v - 1
    }
    return c
}

func similarity(a, b uint64) float64 {
    return 100 - float64(hamming(a, b))/64.0*100
}

URL 结构特征构建要点(伪代码):

weights = {fragment:0.5, scheme:0.5, params:2, path:3, host:4}   // total 10
u = parse(url)                        // scheme, host:port, path, query, fragment
path = strings.ReplaceAll(path, "//", "/"); path = strings.TrimPrefix(path, "/")
query = strings.ReplaceAll(query, "&&", "&")
features = [(scheme, 0.5), (host, 4)]
for seg in split(path, "/"):   features += (seg, 3/len(pathSegs))
for seg in split(query, "&"):  features += (seg, 2/len(paramSegs))
for f in features: fp ^= simhash64(f.value, f.weight)

采集与过滤示例(工具为原文作者实现,可按同等功能替换):

subfinder -dL icp.txt | httpx -t 100 | waybackurls > all_waybackurls.txt
cat all_waybackurls.txt | MoreFind --filter="js,css,json,png,jpg,html,xml,zip,rar,gif" \
  | MoreFind dedu --smart -t 5 | MoreFind -l 50-2000 | shuf | head -n 100

原文小样本结果:阈值 80/90 时 100 条 URL 中分别有 92/85 条被判相似;阈值 95 时能保留典型“同路径不同参数/层级”的独特 URL。

变体与关联

  • 通用分词 SimHash 对照:把 URL 当普通文本、base64 后按 4 字节切块、crc32 32 位、按词频 5 档加权,明显相似的 URL 相似度只有 0.69,且阈值下调时 URL 数量近似每 10% 减半、没有清晰梯度,不适合 URL 这种强结构文本。
  • 与 pentest-recon-waybackurls-historical-url-asset-discovery 衔接:waybackurls 负责“找 URL”,本卡负责“在进入扫描前压缩近重复 URL”。
  • 与 pentest-recon-response-similarity-bag-of-words-cosine-sqli-idor-soft404 互补:那张卡用响应相似度做测试 oracle,本卡用 URL 相似度做采集去重。
  • 性能点:汉明距离用 Kernighan 法;指纹/向量分离;必要时用分桶(按位切段)加速海量比较。

检测与防御

  • 本卡是 recon 侧效率技巧,不是攻击手法,无直接检测/防御意义。
  • 对防守方的间接启示:历史 URL、缓存参数与已下线端点会扩大攻击面;应清理历史泄露、限制不再使用路径的可达性、对批量枚举/爬取做频率限制与告警。
  • 若在防守侧复现相似度聚类(如告警降噪),同样需要对 URL 结构权重与阈值做校准,避免把不同端点误合并。