httpx -sr -srd 批量留存 HTTP 响应与 JS 文件:离线 grep/trufflehog 排查跳转、CORS 与前端凭据
pentest/recon · verified
一句话结论
用 httpx -sr -srd <dir> 可以把每个存活 URL 的完整 HTTP 响应(含响应头)批量落盘到指定目录,再把爬虫收集到的 JS URL 用同样方式单独保存,之后离线用 grep/trufflehog 就能成规模地排查跳转目标、CORS 配置、Cookie 属性和前端硬编码的密钥/接口。
原理
- httpx 的
-sr(store response)把请求的响应体写入文件,-srd(store response dir)指定保存目录;文件通常按<host>.<port>.txt命名,内容是原始响应(状态行、全部响应头、空行、响应体)。对一批 URL 运行一次即可得到一份可全文检索的 HTTP 响应语料。 - 相比“在线逐个查看”,离线语料的优势:可以 grep 全量响应头里的
Location(跳转到的 SSO/内部域名)、Access-Control-Allow-*(CORS 配置)、Set-Cookie(Domain/HttpOnly/SameSite)、Server/X-Powered-By(指纹)、X-Amz-*(云错误)等;可以对响应体搜索报错堆栈、内网地址、AK/SK 关键字。 - 对 JS 资产同理:先由爬虫(gospider/katana/hakrawler)把页面中的 URL 落到
crawl.txt,筛出.js再交给httpx -sr -srd js保存源码(而不是只保存 URL),然后对js/目录做 grep 或 trufflehog 扫描,找出 API 地址、AccessKey、token、加密密钥等。 - 之所以值得做:很多高价值信息只在“扩展名为 .js 的静态文件”或“某个跳转响应的 Location 头”里出现,在线浏览容易漏;批量留存把“发现资产”和“审计内容”解耦,可反复检索。
触发条件
- 已有一批存活的 HTTP URL(如 httpx/tew 输出、爬虫结果)。
- 目标允许访问这些静态资源;JS 文件可匿名获取(大多数站点如此)。
- 本地有足够磁盘保存响应与 JS(大站可能达到数 GB,需按目标分目录)。
利用步骤
- 生成 URL 列表:
tew ... | httpx -json -o http.json,或从爬虫crawl.txt获取。 - 保存响应:
httpx -l http.txt -sr -srd responses -json -o http.json(流水线中可一步完成:tew ... | httpx -sr -srd responses ...)。 - 在
responses/中 grep 关键响应头/内容:Location:、Access-Control-Allow-Origin、Set-Cookie:、AKIA/secret/token/password、内网 IP 段等。 - 抓取 JS:
cat crawl.txt | grep "\.js" | httpx -sr -srd js,得到保存的 JS 源码。 - 对
js/做grep -rE "(api|token|secret|key)"与trufflehog filesystem js/,把命中的 URL/密钥人工复核(注意误报与授权范围)。 - 把高价值结果回填到爬虫/接口枚举阶段(例如从 JS 里提取的新 API 路径继续
httpx/ffuf)。
PoC
# 1) 批量保存 HTTP 响应(含响应头)
tew -x nmap.xml -dnsx dns.json --vhost | httpx -sr -srd responses -json -o http.json
# 2) 离线检索响应中的跳转/CORS/Cookie/敏感关键字
grep -rEi "location:|access-control-allow|set-cookie:|secret|token|password|AKIA" responses/ | head
# 3) 从爬取结果中保存 JS 源码
cat crawl.txt | grep "\.js" | httpx -sr -srd js
# 4) 对 JS 做敏感信息扫描
grep -rE "(api[_-]?key|secret|token|password)" js/ | head
trufflehog filesystem js/ --no-update
变体与关联
- 关联 [[pentest-recon-src-asset-pipeline-scan-sh-scaffold]]:响应/JS 留存位于流水线末端(httpx 与 gospider 之后)。
- 关联 [[pentest-recon-js-hardcoded-secret-entropy-vocabulary-scan]]、[[pentest-recon-sourcemap-leak-frontend-source-restore-api-discovery]]、[[pentest-recon-vue-webpack-module-export-alias-api-params]]:对保存下来的 JS 做密钥/源码/接口挖掘的下游方法。
- 变体:用
katana -store-response、meg、wget -r或 Burp 被动扫描替代 httpx 留存;对带查询串的 URL,注意-srd的落盘命名规则与同名覆盖问题,可按 host 分目录。 - 边界:大站全量保存体积大、耗时长;敏感文件可能要求登录(会保存登录页而非目标文件);trufflehog/grep 命中需人工确认,避免把示例值当真实凭据。
检测与防御
- 防御侧:前端产物不要硬编码长期密钥/内网地址——即使打包混淆,批量抓取后仍可被 grep/trufflehog 命中;使用后端短期令牌与最小权限。
- 响应头最小化:不要回显调试头、内部主机名、云账号信息;CORS 只允许明确来源。
- 监控:短时间内对全站大量 JS/响应文件的批量拉取、缺少正常页面跳转链的访问序列可作为资产测绘行为告警。
- 资产治理:定期自查 JS 与响应中的敏感信息,把“公开静态资源”纳入发布前扫描。