♧ Godown 安全知识树

多搜索引擎差集资产发现:避免单一索引遗漏攻击面

pentest/recon · verified

一句话结论

对同一目标使用相同查询语句在 Google、Bing、百度、DuckDuckGo 等不同搜索引擎检索,返回的资产集合与排序并不相同;红队应取多引擎结果的并集并优先分析各引擎的独有 URL 差集,而不是在单一搜索引擎上反复翻页,从而发现被单一索引遗漏的登录、注册、管理、API 等攻击面。

原理

  • 搜索引擎不是“互联网的完整镜像”,而是一条有损管线:Crawler → Index → Ranking/Content Policy → Search Result。
  • Crawler 差异:页面发现方式、抓取频率、JavaScript 渲染能力、链接发现策略不同。一个浏览器可直接访问的页面,未必被所有引擎抓取。
  • Index 差异:各引擎维护独立索引。设互联网页面为 A~G,Google 可能收录 A B C D,百度收录 B C E F,DuckDuckGo 收录 A D E G;同一 query 自然得到不同集合。
  • Ranking 差异:即使都收录 A B C D,排序也可能完全不同。人工只翻前 1-3 页,排名靠后的冷门资产会被直接忽略。
  • Content Policy 差异:地区、语言、合规与内容策略会影响哪些结果被展示。
  • 浏览器只是请求转发与页面渲染层,更换浏览器而不更换搜索引擎,通常不会改变结果集合;真正的变量是搜索引擎的抓取、索引与排序体系。
  • 因此单一引擎 = 单一信息视角,天然存在资产遗漏;多引擎结果交叉后,A ∪ B ∪ C 才能逼近更完整的资产画像,而各引擎的 A - (B ∪ C) 等差集往往比共同结果更有价值。

触发条件

  • 处于授权测试范围,且搜索引擎检索属于允许的信息收集手段。
  • 目标有公开 Web 资产,且至少部分页面被搜索引擎收录。
  • 能访问多个搜索引擎(含目标地区常用引擎),必要时具备相应网络/地区出口。
  • 查询语句、语言、地区、时间窗口尽量保持一致,以降低非引擎变量干扰。

利用步骤

  1. 固定目标范围与查询语句,例如 site:example.gov inurl:login、site:example.gov intitle:admin、site:example.gov inurl:api。
  2. 在多个搜索引擎上执行完全相同的 query:Google、Bing、百度、DuckDuckGo,以及目标地区的本地引擎。
  3. 记录每个引擎的结果 URL,去掉跟踪参数、统一协议/大小写/尾斜杠后去重。
  4. 计算并集与差集:优先查看 Google 独有、百度独有、DuckDuckGo 独有 的 URL,而不是只看三者的共同结果。
  5. 对独有 URL 逐个访问验证:确认是否为目标自有资产、是否属于授权范围,识别登录/注册/管理/API/上传/调试入口。
  6. 把新发现的域名、子域、路径、参数回灌到资产清单,再以新关键词重复检索,形成迭代。
  7. 对发现的入口继续做功能与权限测试;搜索引擎只负责“看见”,漏洞仍需单独验证。

PoC

控制变量对比(同一 query、同一目标、相近时间):

Query: site:whitehouse.gov inurl:login

Baidu       -> 大量 Briefing Room 分页等泛化页面,未命中登录入口
Google      -> 命中一个 JoinUs 登录页,但业务入口单一
DuckDuckGo  -> 命中 apply.whitehouse.gov 的实习项目登录/注册入口等多个业务页面

集合视角:

Google     = {A, B, C, D}
Baidu      = {B, C, E}
DuckDuckGo = {A, D, E, F, G}

共同结果 = {B, C}
独有结果 = {A, D, E, F, G}   # 优先分析

结果集差集脚本(示意):

from urllib.parse import urlsplit, urlunsplit, parse_qsl, urlencode

DROP = {"utm_source", "utm_medium", "utm_campaign", "gclid"}

def norm(u):
    p = urlsplit(u)
    q = [(k, v) for k, v in parse_qsl(p.query, keep_blank_values=True) if k not in DROP]
    return urlunsplit((p.scheme.lower(), p.netloc.lower(), p.path.rstrip("/"), urlencode(q), ""))

results = {
    "google": {norm(u) for u in google_urls},
    "baidu": {norm(u) for u in baidu_urls},
    "ddg": {norm(u) for u in ddg_urls},
}
union = set().union(*results.values())
for engine, urls in results.items():
    others = set().union(*(v for k, v in results.items() if k != engine))
    print(engine, "unique:", urls - others)
print("all:", union)

上述真实案例中,DuckDuckGo 独有结果指向一个实习项目管理系统入口,继续访问发现其注册功能缺少有效访问限制,可批量创建账户;这说明差集发现能把“看不见的页面”转化为可验证的业务入口。

变体与关联

  • 变体:排名差异——两个引擎都收录同一批 URL,但排序不同;只翻前几页仍会漏掉靠后的资产。
  • 变体:地区/语言引擎——目标为特定国家时,本地搜索引擎可能收录更多本地业务页面。
  • 变体:不同引擎对 site:、inurl:、intitle:、filetype: 的支持与解释不同,同一语句语义可能漂移,需要分别验证语法。
  • 变体:把搜索引擎结果与证书透明日志、子域枚举、被动 DNS、APP 抓包等其它情报源交叉,形成多源资产画像。
  • 关联:[[pentest-recon-mobile-app-traffic-shadow-asset]] 从客户端流量发现搜索引擎覆盖不到的影子资产;本卡从搜索引擎索引差异扩展覆盖面,两者可叠加。
  • 关联:[[pentest-recon-dynamic-page-differential-fuzz]] 也是“差异优先”思路,但对象是 HTTP 响应,本卡对象是搜索引擎结果集。

检测与防御

  • 检测:定期用 site: 查询检查本单位敏感路径(登录、管理、测试、上传、API 文档)是否被搜索引擎收录。
  • 修复:对管理/登录/测试环境加认证与访问控制,不依赖“URL 不公开”;敏感页面返回 401/403 而非可索引内容。
  • 修复:使用 robots.txt、noindex、X-Robots-Tag 降低收录,但不要把其当作唯一防线;已收录页面通过搜索引擎移除工具清理。
  • 加固:注销不再使用的子域与旧系统;统一资产台账,把“搜索引擎可见”纳入暴露面监控。
  • 加固:对注册、登录等入口做速率限制、验证码、邮箱/手机验证与风控,避免“可无限创建账户”这类业务逻辑问题。
  • 运营:红队侧把多引擎差集固化为信息收集基线流程,避免单一数据源造成的盲区。