Wayback Machine 历史 URL 发现:waybackurls + httpx + gf 筛选被遗忘的资产
pentest/recon · verified
一句话结论
用 waybackurls 从 Wayback Machine 拉取目标域名的历史 URL,交给 httpx 探测仍存活的 200/302 页面并取标题,再用 gf redirect 筛出带跳转参数的链接、anew 去重,即可发现当前站点已不再链接、但仍在线或仍保留参数的旧端点,扩大资产与漏洞面。
原理
- Internet Archive 的 Wayback Machine 多年持续抓取网页,保存了大量历史 URL;
waybackurls通过 CDX API 按域名取出这些 URL,包括已下线、改版后不再链接的路径。 - 历史端点往往比当前站点更“松”:旧上传接口、调试页、测试环境、已废弃的 API、带
url=/redirect=/next=参数的跳转页可能仍在运行,或至少暴露参数命名/目录结构。 httpx负责批量探活与指纹:-mc 200,302只保留有意义的状态码,-title取标题便于人工判断,-threads提高速度;这样从海量历史 URL 中筛出仍可访问的目标。gf redirect按预定义模式从 URL 中提取可能开放重定向/SSRF 的参数(如url、redirect、next、return);gf ssrf、gf xss、gf sqli同理。anew做增量去重,避免重复处理。- 为什么有效:当前站点导航/爬虫只覆盖“现在可见”的资产;Wayback 覆盖“曾经存在”的资产,二者差集就是被遗忘的暴露面。本文以 tesla.com 为例,历史结果包含 events、service manual、account settings、developer docs 等大量旧路径。
- 该技术是完整侦察原语:产出可访问的 URL 列表/参数列表,可直接交给目录扫描、参数 fuzz、开放重定向/SSRF 测试。
触发条件
- 目标域名有较长的 Web 历史,Wayback Machine 有存档记录。
- 旧端点仍在线,或虽下线但暴露过参数/目录结构。
- 攻击机可访问 web.archive.org/CDX API 与目标站点。
- 目标未对历史资产做统一下线/鉴权,旧接口仍可访问。
利用步骤
- 收集历史 URL:
bash echo "https://target.com" | waybackurls > urls.txt - 探测存活并筛选状态码/标题:
bash cat urls.txt | httpx -silent -timeout 2 -sc -mc 200,302 -title -threads 100 > live.txt - 按漏洞类型提取参数:
bash cat live.txt | gf redirect | anew redirects.txt cat live.txt | gf ssrf | anew ssrf.txt cat live.txt | gf xss | anew xss.txt - 人工审阅标题/路径,优先关注上传、调试、管理、导出、跳转、旧 API。
- 对筛选出的 URL 做参数 fuzz/开放重定向/SSRF/未授权访问测试;对旧目录做目录扫描。
- 结合当前站点爬虫结果做差集,得到“仅历史存在”的资产清单。
PoC
echo "https://tesla.com" \
| ./waybackurls \
| ./httpx -silent -timeout 2 -sc -mc 200,302 -title -threads 100 \
| ./gf redirect \
| ./anew
# 历史结果示例(截断)
https://www.tesla.com/events
https://www.tesla.com/service/manuals
https://accounts.tesla.com/account-settings
https://developer.tesla.com/docs
...
说明:原 PPT 展示了上述命令与 tesla.com 的历史 URL 输出;PoC 未在本机复跑,实际结果取决于 Wayback 存档与目标存活状态。
变体与关联
- 数据源变体:
gau(GetAllUrls)、katana、Common Crawl、urlscan.io、VirusTotal 域名历史、搜索引擎缓存。 - 筛选变体:
gf的 redirect/ssrf/xss/sqli 模式;按扩展名(.php、.json、.zip、.bak)过滤;按关键词(admin、debug、upload、export)过滤。 - 资产变体:历史子域名、历史 IP、历史 API 版本(
/v1/、/api/old/)、旧 CDN/对象存储 URL。 - 关联:[[pentest-recon-asset-scan-history-exposure-window]](资产测绘历史端口)、[[pentest-recon-github-repo-history-secret-mining]](Git 历史密钥)、[[pentest-recon-multi-search-engine-diff-asset-discovery]](多引擎资产差集)、[[pentest-recon-subdomain-enum-false-positive-hardening]](子域结果校验)。
- 边界:目标从未被 Wayback 抓取/robots 禁止存档、旧端点全部下线、CDX API 不可达或返回过多噪声时,收益下降;历史 URL 需要人工验证,不能直接当作漏洞。
检测与防御
- 检测:Web 日志中出现对旧路径/旧 API 的访问,且来源无当前导航引用;UA 为 waybackurls/httpx/gf 等工具特征。
- 检测:大量历史 URL 在短时间内被批量请求,尤其是上传/调试/管理路径;随后出现参数 fuzz/开放重定向测试。
- 防御:定期盘点并下线废弃端点/旧 API,统一返回 410/404;旧资产纳入 WAF 与鉴权;删除调试/上传/导出等遗留功能。
- 加固:建立资产清单与变更审计,监控 Wayback/搜索引擎中的敏感路径;对跳转参数做白名单,避免开放重定向/SSRF。
- 响应:确认被访问的旧资产是否含敏感数据/未授权功能,及时下线、轮换凭据、修补旧接口。