♧ Godown 安全知识树

httpx -sr -srd 批量留存 HTTP 响应与 JS 文件:离线 grep/trufflehog 排查跳转、CORS 与前端凭据

pentest/recon · verified

一句话结论

用 httpx -sr -srd <dir> 可以把每个存活 URL 的完整 HTTP 响应(含响应头)批量落盘到指定目录,再把爬虫收集到的 JS URL 用同样方式单独保存,之后离线用 grep/trufflehog 就能成规模地排查跳转目标、CORS 配置、Cookie 属性和前端硬编码的密钥/接口。

原理

  • httpx 的 -sr(store response)把请求的响应体写入文件,-srd(store response dir)指定保存目录;文件通常按 <host>.<port>.txt 命名,内容是原始响应(状态行、全部响应头、空行、响应体)。对一批 URL 运行一次即可得到一份可全文检索的 HTTP 响应语料。
  • 相比“在线逐个查看”,离线语料的优势:可以 grep 全量响应头里的 Location(跳转到的 SSO/内部域名)、Access-Control-Allow-*(CORS 配置)、Set-Cookie(Domain/HttpOnly/SameSite)、Server/X-Powered-By(指纹)、X-Amz-*(云错误)等;可以对响应体搜索报错堆栈、内网地址、AK/SK 关键字。
  • 对 JS 资产同理:先由爬虫(gospider/katana/hakrawler)把页面中的 URL 落到 crawl.txt,筛出 .js 再交给 httpx -sr -srd js 保存源码(而不是只保存 URL),然后对 js/ 目录做 grep 或 trufflehog 扫描,找出 API 地址、AccessKey、token、加密密钥等。
  • 之所以值得做:很多高价值信息只在“扩展名为 .js 的静态文件”或“某个跳转响应的 Location 头”里出现,在线浏览容易漏;批量留存把“发现资产”和“审计内容”解耦,可反复检索。

触发条件

  • 已有一批存活的 HTTP URL(如 httpx/tew 输出、爬虫结果)。
  • 目标允许访问这些静态资源;JS 文件可匿名获取(大多数站点如此)。
  • 本地有足够磁盘保存响应与 JS(大站可能达到数 GB,需按目标分目录)。

利用步骤

  1. 生成 URL 列表:tew ... | httpx -json -o http.json,或从爬虫 crawl.txt 获取。
  2. 保存响应:httpx -l http.txt -sr -srd responses -json -o http.json(流水线中可一步完成:tew ... | httpx -sr -srd responses ...)。
  3. 在 responses/ 中 grep 关键响应头/内容:Location:、Access-Control-Allow-Origin、Set-Cookie:、AKIA/secret/token/password、内网 IP 段等。
  4. 抓取 JS:cat crawl.txt | grep "\.js" | httpx -sr -srd js,得到保存的 JS 源码。
  5. 对 js/ 做 grep -rE "(api|token|secret|key)" 与 trufflehog filesystem js/,把命中的 URL/密钥人工复核(注意误报与授权范围)。
  6. 把高价值结果回填到爬虫/接口枚举阶段(例如从 JS 里提取的新 API 路径继续 httpx/ffuf)。

PoC

# 1) 批量保存 HTTP 响应(含响应头)
tew -x nmap.xml -dnsx dns.json --vhost | httpx -sr -srd responses -json -o http.json

# 2) 离线检索响应中的跳转/CORS/Cookie/敏感关键字
grep -rEi "location:|access-control-allow|set-cookie:|secret|token|password|AKIA" responses/ | head

# 3) 从爬取结果中保存 JS 源码
cat crawl.txt | grep "\.js" | httpx -sr -srd js

# 4) 对 JS 做敏感信息扫描
grep -rE "(api[_-]?key|secret|token|password)" js/ | head
trufflehog filesystem js/ --no-update

变体与关联

  • 关联 [[pentest-recon-src-asset-pipeline-scan-sh-scaffold]]:响应/JS 留存位于流水线末端(httpx 与 gospider 之后)。
  • 关联 [[pentest-recon-js-hardcoded-secret-entropy-vocabulary-scan]]、[[pentest-recon-sourcemap-leak-frontend-source-restore-api-discovery]]、[[pentest-recon-vue-webpack-module-export-alias-api-params]]:对保存下来的 JS 做密钥/源码/接口挖掘的下游方法。
  • 变体:用 katana -store-response、meg、wget -r 或 Burp 被动扫描替代 httpx 留存;对带查询串的 URL,注意 -srd 的落盘命名规则与同名覆盖问题,可按 host 分目录。
  • 边界:大站全量保存体积大、耗时长;敏感文件可能要求登录(会保存登录页而非目标文件);trufflehog/grep 命中需人工确认,避免把示例值当真实凭据。

检测与防御

  • 防御侧:前端产物不要硬编码长期密钥/内网地址——即使打包混淆,批量抓取后仍可被 grep/trufflehog 命中;使用后端短期令牌与最小权限。
  • 响应头最小化:不要回显调试头、内部主机名、云账号信息;CORS 只允许明确来源。
  • 监控:短时间内对全站大量 JS/响应文件的批量拉取、缺少正常页面跳转链的访问序列可作为资产测绘行为告警。
  • 资产治理:定期自查 JS 与响应中的敏感信息,把“公开静态资源”纳入发布前扫描。