♧ Godown 安全知识树

SecretScraper 爬虫式敏感信息扫描:DOM/正则提取 URL + YAML 规则匹配泄露线索

pentest/recon · verified

一句话结论

SecretScraper 把“输入目标 → BeautifulSoup/正则提取链接与 JS → 正则匹配敏感信息 → 按深度继续爬取”串成一条可配置的流水线,适合在授权信息收集阶段低成本地产出站点链接清单与泄露线索(Swagger、身份证/手机号、JS Map、Shiro、JWT、云 AccessKey、内网 IP 等),命中结果再交由人工验证与后续利用。

原理

  • 爬取与提取:程序对目标 URL 发起请求,用 BeautifulSoup 解析 DOM,同时用正则从响应文本中提取链接和 .js 地址;将新发现的 URL 加入队列并按 max_depth/max_page_num 限制继续爬取(深度 1 只扫输入页,深度 2 再延伸一层),支持域名白名单/黑名单(通配符)与多目标/本地文件扫描。
  • 敏感信息匹配:响应文本按 settings.yml 中的 rules 逐条正则匹配,规则包含 name、regex、loaded;默认规则覆盖 Swagger UI、身份证号、手机号、.js.map、Email、内网 IP、云 AccessKey(accesskeyid/accesskeysecret/LTAI...)、Shiro(rememberMe=/=deleteMe)、32 位疑似 API Key、JWT 等。命中后按“来源 URL + 规则名 + 匹配内容”输出,可存 CSV。
  • Hyperscan 加速:默认用 Python re 匹配;配置 handler_type: hyperscan 可提升大流量扫描速度,但 Hyperscan 不支持正则分组(圆括号提取会被忽略)、部分预分析语法与 re 不同,因此同一套规则最好分别为两种引擎维护。
  • 危险路径规避:配置中的 dangerousPath(logout/update/remove/insert/delete 等)用于避免爬虫误触发有副作用的链接;但该列表是名称匹配,仍可能在参数化/伪静态路径上漏判,扫描授权目标时仍需限速与人工确认。
  • 为什么有用:前端源码、JS、Swagger 页面、错误页经常把密钥、内网地址、测试数据、源码映射(.js.map)直接暴露在响应里;爬虫+正则能在不做深度漏洞利用的前提下快速圈定“值得看”的资产与文件,后续再人工确认泄露是否可利用。
  • 边界:正则命中不等于漏洞——身份证/手机号可能是测试数据或脱敏失败,AccessKey 可能已失效,Swagger 可能无敏感接口;工具不做登录态维持/验证码处理,需要配合 cookie/proxy;Hyperscan 与 re 规则不通用。

触发条件

  • 已获得对目标站点的授权测试许可,且目标可通过 HTTP(S) 访问。
  • Python >= 3.9;需要扫描本地源码/目录时可直接用 -l。
  • 需要登录态的站点,需提供有效 Cookie 或通过代理携带会话;需要控制请求速率与范围,避免触发风控。
  • 目标包含前端 JS、Swagger、错误页、源码映射等常见泄露面;对纯 API 站点可通过多目标/本地文件模式补充输入。

利用步骤

  1. 安装:pip install secretscraper(升级 pip install --upgrade secretscraper)。
  2. 单目标快速扫描:secretscraper -u https://target/;多目标:secretscraper -f urls.txt(每行一个 URL);本地源码/目录:secretscraper -l ./src。
  3. 首次运行会在当前目录生成 settings.yml;按需修改 proxy、headers(UA/Cookie)、max_depth、max_page_num、timeout、workers_num、follow_redirects、handler_type 等。
  4. 按需增删 rules:为业务定制正则(如内部域名、特定密钥前缀),并设置 loaded: true/false;如启用 Hyperscan,为它单独维护不带分组的规则。
  5. 使用 --validate 校验发现 URL 的状态、-s 200,300-400 过滤响应码、-H 隐藏敏感信息只看链接、-o result.csv 保存结果、--detail 查看详情。
  6. 对命中项人工复核:打开来源 URL/JS,确认密钥/身份证/内网地址是否真实有效;对 .js.map/Swagger 继续做源码还原与接口枚举(见关联卡)。

PoC

# 单目标 + 校验 URL 状态 + 限制 10 页
secretscraper -u https://target/ --validate --max-page=10

# 深度 2 爬取 + 域名白名单 + CSV 输出
secretscraper -u https://target/ -m 2 -d '*target*' -o result.csv

# 本地源码/目录递归扫描
secretscraper -l ./frontend-dist

# 代理 + Cookie(登录态)
secretscraper -u https://target/ -x http://127.0.0.1:8080 -c 'SESSION=...'

自定义规则示例(settings.yml 片段):

handler_type: re
rules:
  - name: Swagger
    regex: \b[\w/]+?((swagger-ui.html)|("swagger":)|(Swagger UI)|(swaggerUi))\b
    loaded: true
  - name: Cloud Key
    regex: \b((accesskeyid)|(accesskeysecret)|(LTAI[a-z0-9]{12,20}))\b
    loaded: true
  - name: Jwt
    regex: "['\"](ey[A-Za-z0-9_-]{10,}\\.[A-Za-z0-9._-]{10,})['\"]"
    loaded: true

运行输出会按“URL/JS/Domains/Secrets”分组列出命中项(示例输出包含 Internal IP、Cloud Key、JS Map、ID Card、Swagger、Shiro rememberMe=deleteMe、Email 等),最后可写入 CSV。

变体与关联

  • 接口发现 + 未授权导出:用 FindSomething 提取 JS 接口、HAE 标记身份证/手机号并分页导出 PII;见 [[web-generic-auth-js-api-discovery-unauth-pii-mass-export]]。SecretScraper 负责爬取与初步命中,后续接口枚举与验证可交给 Burp/脚本。
  • JS 源码/Map 泄露:命中 .js.map 后可还原前端源码与接口;见 [[pentest-recon-sourcemap-leak-frontend-source-restore-api-discovery]]、[[pentest-recon-npm-package-sourcemap-sourcescontent-leak]]。
  • 硬编码凭据:前端混淆 JS 中的账号/密钥提取与还原;见 [[pentest-recon-frontend-obfuscated-js-hardcoded-credentials]]、[[pentest-recon-js-hardcoded-secret-entropy-vocabulary-scan]]。
  • 云密钥利用:命中 AccessKey 后需验证权限与归属;可结合云厂商 API 做只读枚举(注意授权边界)。
  • 变体:只做链接发现时加 -H;只扫本地源码时用 -l;大规模目标用多目标文件 + 域名黑白名单 + 限速/代理分片;Hyperscan 模式用于大响应体高吞吐场景。
  • 误报控制:为测试数据/示例域名(example.com、127.0.0.1)增加排除规则或人工过滤,避免把示例值当作真实泄露。

检测与防御

  • 前端最小化:不要把生产密钥、内网地址、测试 PII、Swagger 调试页、.js.map 发布到生产;构建流程中移除 sourcemap、密钥扫描门禁。
  • 密钥管理:前端只能持有公开信息;任何出现在 JS/HTML 中的密钥都视为已泄露,应立即轮换并审计调用记录。
  • 服务端:对爬虫/异常 UA 与高频请求做限速与告警;对登录态接口做权限校验,避免“爬到即拿到”。
  • 检测:分析访问日志中的爬虫特征(短时间大量 URL、顺序遍历、明显 UA/无 UA)、404/403 扫描模式;SecretScraper 默认 UA 为 Chrome 80 的旧串,可通过 UA/行为基线识别。
  • 合规:仅对授权资产扫描;dangerousPath 只能降低误触发风险,不能替代限速与人工确认。