♧ Godown 安全知识树

Wayback Machine 历史 URL 发现:waybackurls + httpx + gf 筛选被遗忘的资产

pentest/recon · verified

一句话结论

用 waybackurls 从 Wayback Machine 拉取目标域名的历史 URL,交给 httpx 探测仍存活的 200/302 页面并取标题,再用 gf redirect 筛出带跳转参数的链接、anew 去重,即可发现当前站点已不再链接、但仍在线或仍保留参数的旧端点,扩大资产与漏洞面。

原理

  • Internet Archive 的 Wayback Machine 多年持续抓取网页,保存了大量历史 URL;waybackurls 通过 CDX API 按域名取出这些 URL,包括已下线、改版后不再链接的路径。
  • 历史端点往往比当前站点更“松”:旧上传接口、调试页、测试环境、已废弃的 API、带 url=/redirect=/next= 参数的跳转页可能仍在运行,或至少暴露参数命名/目录结构。
  • httpx 负责批量探活与指纹:-mc 200,302 只保留有意义的状态码,-title 取标题便于人工判断,-threads 提高速度;这样从海量历史 URL 中筛出仍可访问的目标。
  • gf redirect 按预定义模式从 URL 中提取可能开放重定向/SSRF 的参数(如 url、redirect、next、return);gf ssrf、gf xss、gf sqli 同理。anew 做增量去重,避免重复处理。
  • 为什么有效:当前站点导航/爬虫只覆盖“现在可见”的资产;Wayback 覆盖“曾经存在”的资产,二者差集就是被遗忘的暴露面。本文以 tesla.com 为例,历史结果包含 events、service manual、account settings、developer docs 等大量旧路径。
  • 该技术是完整侦察原语:产出可访问的 URL 列表/参数列表,可直接交给目录扫描、参数 fuzz、开放重定向/SSRF 测试。

触发条件

  • 目标域名有较长的 Web 历史,Wayback Machine 有存档记录。
  • 旧端点仍在线,或虽下线但暴露过参数/目录结构。
  • 攻击机可访问 web.archive.org/CDX API 与目标站点。
  • 目标未对历史资产做统一下线/鉴权,旧接口仍可访问。

利用步骤

  1. 收集历史 URL: bash echo "https://target.com" | waybackurls > urls.txt
  2. 探测存活并筛选状态码/标题: bash cat urls.txt | httpx -silent -timeout 2 -sc -mc 200,302 -title -threads 100 > live.txt
  3. 按漏洞类型提取参数: bash cat live.txt | gf redirect | anew redirects.txt cat live.txt | gf ssrf | anew ssrf.txt cat live.txt | gf xss | anew xss.txt
  4. 人工审阅标题/路径,优先关注上传、调试、管理、导出、跳转、旧 API。
  5. 对筛选出的 URL 做参数 fuzz/开放重定向/SSRF/未授权访问测试;对旧目录做目录扫描。
  6. 结合当前站点爬虫结果做差集,得到“仅历史存在”的资产清单。

PoC

echo "https://tesla.com" \
  | ./waybackurls \
  | ./httpx -silent -timeout 2 -sc -mc 200,302 -title -threads 100 \
  | ./gf redirect \
  | ./anew
# 历史结果示例(截断)
https://www.tesla.com/events
https://www.tesla.com/service/manuals
https://accounts.tesla.com/account-settings
https://developer.tesla.com/docs
...

说明:原 PPT 展示了上述命令与 tesla.com 的历史 URL 输出;PoC 未在本机复跑,实际结果取决于 Wayback 存档与目标存活状态。

变体与关联

  • 数据源变体:gau(GetAllUrls)、katana、Common Crawl、urlscan.io、VirusTotal 域名历史、搜索引擎缓存。
  • 筛选变体:gf 的 redirect/ssrf/xss/sqli 模式;按扩展名(.php、.json、.zip、.bak)过滤;按关键词(admin、debug、upload、export)过滤。
  • 资产变体:历史子域名、历史 IP、历史 API 版本(/v1/、/api/old/)、旧 CDN/对象存储 URL。
  • 关联:[[pentest-recon-asset-scan-history-exposure-window]](资产测绘历史端口)、[[pentest-recon-github-repo-history-secret-mining]](Git 历史密钥)、[[pentest-recon-multi-search-engine-diff-asset-discovery]](多引擎资产差集)、[[pentest-recon-subdomain-enum-false-positive-hardening]](子域结果校验)。
  • 边界:目标从未被 Wayback 抓取/robots 禁止存档、旧端点全部下线、CDX API 不可达或返回过多噪声时,收益下降;历史 URL 需要人工验证,不能直接当作漏洞。

检测与防御

  • 检测:Web 日志中出现对旧路径/旧 API 的访问,且来源无当前导航引用;UA 为 waybackurls/httpx/gf 等工具特征。
  • 检测:大量历史 URL 在短时间内被批量请求,尤其是上传/调试/管理路径;随后出现参数 fuzz/开放重定向测试。
  • 防御:定期盘点并下线废弃端点/旧 API,统一返回 410/404;旧资产纳入 WAF 与鉴权;删除调试/上传/导出等遗留功能。
  • 加固:建立资产清单与变更审计,监控 Wayback/搜索引擎中的敏感路径;对跳转参数做白名单,避免开放重定向/SSRF。
  • 响应:确认被访问的旧资产是否含敏感数据/未授权功能,及时下线、轮换凭据、修补旧接口。