SecretScraper 爬虫式敏感信息扫描:DOM/正则提取 URL + YAML 规则匹配泄露线索
pentest/recon · verified
一句话结论
SecretScraper 把“输入目标 → BeautifulSoup/正则提取链接与 JS → 正则匹配敏感信息 → 按深度继续爬取”串成一条可配置的流水线,适合在授权信息收集阶段低成本地产出站点链接清单与泄露线索(Swagger、身份证/手机号、JS Map、Shiro、JWT、云 AccessKey、内网 IP 等),命中结果再交由人工验证与后续利用。
原理
- 爬取与提取:程序对目标 URL 发起请求,用 BeautifulSoup 解析 DOM,同时用正则从响应文本中提取链接和
.js地址;将新发现的 URL 加入队列并按max_depth/max_page_num限制继续爬取(深度 1 只扫输入页,深度 2 再延伸一层),支持域名白名单/黑名单(通配符)与多目标/本地文件扫描。 - 敏感信息匹配:响应文本按
settings.yml中的rules逐条正则匹配,规则包含name、regex、loaded;默认规则覆盖 Swagger UI、身份证号、手机号、.js.map、Email、内网 IP、云 AccessKey(accesskeyid/accesskeysecret/LTAI...)、Shiro(rememberMe=/=deleteMe)、32 位疑似 API Key、JWT 等。命中后按“来源 URL + 规则名 + 匹配内容”输出,可存 CSV。 - Hyperscan 加速:默认用 Python
re匹配;配置handler_type: hyperscan可提升大流量扫描速度,但 Hyperscan 不支持正则分组(圆括号提取会被忽略)、部分预分析语法与re不同,因此同一套规则最好分别为两种引擎维护。 - 危险路径规避:配置中的
dangerousPath(logout/update/remove/insert/delete 等)用于避免爬虫误触发有副作用的链接;但该列表是名称匹配,仍可能在参数化/伪静态路径上漏判,扫描授权目标时仍需限速与人工确认。 - 为什么有用:前端源码、JS、Swagger 页面、错误页经常把密钥、内网地址、测试数据、源码映射(
.js.map)直接暴露在响应里;爬虫+正则能在不做深度漏洞利用的前提下快速圈定“值得看”的资产与文件,后续再人工确认泄露是否可利用。 - 边界:正则命中不等于漏洞——身份证/手机号可能是测试数据或脱敏失败,AccessKey 可能已失效,Swagger 可能无敏感接口;工具不做登录态维持/验证码处理,需要配合 cookie/proxy;Hyperscan 与
re规则不通用。
触发条件
- 已获得对目标站点的授权测试许可,且目标可通过 HTTP(S) 访问。
- Python >= 3.9;需要扫描本地源码/目录时可直接用
-l。 - 需要登录态的站点,需提供有效 Cookie 或通过代理携带会话;需要控制请求速率与范围,避免触发风控。
- 目标包含前端 JS、Swagger、错误页、源码映射等常见泄露面;对纯 API 站点可通过多目标/本地文件模式补充输入。
利用步骤
- 安装:
pip install secretscraper(升级pip install --upgrade secretscraper)。 - 单目标快速扫描:
secretscraper -u https://target/;多目标:secretscraper -f urls.txt(每行一个 URL);本地源码/目录:secretscraper -l ./src。 - 首次运行会在当前目录生成
settings.yml;按需修改proxy、headers(UA/Cookie)、max_depth、max_page_num、timeout、workers_num、follow_redirects、handler_type等。 - 按需增删
rules:为业务定制正则(如内部域名、特定密钥前缀),并设置loaded: true/false;如启用 Hyperscan,为它单独维护不带分组的规则。 - 使用
--validate校验发现 URL 的状态、-s 200,300-400过滤响应码、-H隐藏敏感信息只看链接、-o result.csv保存结果、--detail查看详情。 - 对命中项人工复核:打开来源 URL/JS,确认密钥/身份证/内网地址是否真实有效;对
.js.map/Swagger 继续做源码还原与接口枚举(见关联卡)。
PoC
# 单目标 + 校验 URL 状态 + 限制 10 页
secretscraper -u https://target/ --validate --max-page=10
# 深度 2 爬取 + 域名白名单 + CSV 输出
secretscraper -u https://target/ -m 2 -d '*target*' -o result.csv
# 本地源码/目录递归扫描
secretscraper -l ./frontend-dist
# 代理 + Cookie(登录态)
secretscraper -u https://target/ -x http://127.0.0.1:8080 -c 'SESSION=...'
自定义规则示例(settings.yml 片段):
handler_type: re
rules:
- name: Swagger
regex: \b[\w/]+?((swagger-ui.html)|("swagger":)|(Swagger UI)|(swaggerUi))\b
loaded: true
- name: Cloud Key
regex: \b((accesskeyid)|(accesskeysecret)|(LTAI[a-z0-9]{12,20}))\b
loaded: true
- name: Jwt
regex: "['\"](ey[A-Za-z0-9_-]{10,}\\.[A-Za-z0-9._-]{10,})['\"]"
loaded: true
运行输出会按“URL/JS/Domains/Secrets”分组列出命中项(示例输出包含 Internal IP、Cloud Key、JS Map、ID Card、Swagger、Shiro rememberMe=deleteMe、Email 等),最后可写入 CSV。
变体与关联
- 接口发现 + 未授权导出:用 FindSomething 提取 JS 接口、HAE 标记身份证/手机号并分页导出 PII;见 [[web-generic-auth-js-api-discovery-unauth-pii-mass-export]]。SecretScraper 负责爬取与初步命中,后续接口枚举与验证可交给 Burp/脚本。
- JS 源码/Map 泄露:命中
.js.map后可还原前端源码与接口;见 [[pentest-recon-sourcemap-leak-frontend-source-restore-api-discovery]]、[[pentest-recon-npm-package-sourcemap-sourcescontent-leak]]。 - 硬编码凭据:前端混淆 JS 中的账号/密钥提取与还原;见 [[pentest-recon-frontend-obfuscated-js-hardcoded-credentials]]、[[pentest-recon-js-hardcoded-secret-entropy-vocabulary-scan]]。
- 云密钥利用:命中 AccessKey 后需验证权限与归属;可结合云厂商 API 做只读枚举(注意授权边界)。
- 变体:只做链接发现时加
-H;只扫本地源码时用-l;大规模目标用多目标文件 + 域名黑白名单 + 限速/代理分片;Hyperscan 模式用于大响应体高吞吐场景。 - 误报控制:为测试数据/示例域名(
example.com、127.0.0.1)增加排除规则或人工过滤,避免把示例值当作真实泄露。
检测与防御
- 前端最小化:不要把生产密钥、内网地址、测试 PII、Swagger 调试页、
.js.map发布到生产;构建流程中移除 sourcemap、密钥扫描门禁。 - 密钥管理:前端只能持有公开信息;任何出现在 JS/HTML 中的密钥都视为已泄露,应立即轮换并审计调用记录。
- 服务端:对爬虫/异常 UA 与高频请求做限速与告警;对登录态接口做权限校验,避免“爬到即拿到”。
- 检测:分析访问日志中的爬虫特征(短时间大量 URL、顺序遍历、明显 UA/无 UA)、404/403 扫描模式;SecretScraper 默认 UA 为 Chrome 80 的旧串,可通过 UA/行为基线识别。
- 合规:仅对授权资产扫描;
dangerousPath只能降低误触发风险,不能替代限速与人工确认。