把子域收集做成每日定时任务:结果入库做差集,只对新出现的资产投入测试
pentest/recon · verified
一句话结论
资产测绘不该是“一次性跑完就完事”:用 subfinder/OneForAll 一类被动+主动收集工具每天定时跑一次目标域名,把结果连同日期写进数据库,与上一次结果做差集——新出现的子域/新解析的 IP 往往意味着“刚上线、还没加固、没进资产清单”的系统,把有限的测试时间压在这些增量上,比反复翻存量资产性价比高得多。
原理
- 资产是持续变化的:新业务上线、测试环境开放、临时域名解析、云上扩容都会产生新资产;单次测绘只能覆盖某一时刻,之后新增的部分完全在视野外。
- 新资产 ≈ 弱防护:刚上线或临时开放的系统常缺少统一 WAF、未做基线加固、默认口令未改、调试接口未关;同时它们通常不在防守方的资产清单与监控范围内,“没人看”本身就是漏洞。
- 差集是降噪手段:每次全量结果都很大且大部分是已知资产,人工看不过来;只输出“本次新增”的列表,人就能逐个处理。
- 时间维度也是情报:记录每个资产的首次发现时间,可判断“这个域名是在演练开始后才解析的”(可能是蜜罐或临时靶标),也可用于事后复盘资产暴露窗口。
- 与一次性资产发现的分工:存量发现靠测绘引擎、ICP、证书透明日志等一次性手段铺开;增量发现靠定时任务长期盯守,两者互补。
触发条件
- 有一个长期跟踪的目标域名清单(授权范围内的演练目标或自有资产)。
- 能部署定时任务(cron/计划任务/CI 定时流水线)并持久化存储结果(SQLite/MySQL/CSV 均可)。
- 收集工具可用(subfinder、OneForAll、amass 等),且出口网络能访问公开 DNS 与被动数据源。
利用步骤
- 建立域名种子清单,每次运行都从这份清单出发(新增目标只需往清单里加一行)。
- 每次运行把结果写成带时间戳的文件:域名、解析记录、首次发现时间;被动收集(证书透明日志、公开 DNS 数据源)与主动解析分开记录,便于区分数据来源。
- 结果入库:表结构至少包含
domain、ip、first_seen、last_seen;用唯一键去重,重复出现只更新last_seen。 - 与上一次快照做差集:输出“本次新增域名”“IP 发生变化的域名”“长期无解析突然解析的域名”三类。
- 对新增项做存活与指纹识别(httpx + 指纹工具),标注技术栈、标题、状态码,再判断是否值得深入。
- 把新增项按“业务相关度 + 防护强度”排序,优先测刚上线、无 WAF、暴露管理后台/调试接口的系统。
- 固定节奏(每日或每周)执行,并把“新增条目数突变”作为告警信号——短时间大量新增可能意味着大规模上线或有人在批量注册域名。
PoC
#!/bin/sh
# 每日一次:收集 → 入库 → 差集 → 只输出新增
SEEDS=seeds.txt
RUN=$(date +%F)
OUT="subs_${RUN}.txt"
while read -r d; do
[ -z "$d" ] && continue
subfinder -d "$d" -all -silent >> "$OUT"
done < "$SEEDS"
sort -u "$OUT" -o "$OUT"
# 与上一次结果做差集(保留历史,只打印新增)
PREV=$(ls -1t subs_*.txt | sed -n 2p)
if [ -n "$PREV" ]; then
comm -13 <(sort -u "$PREV") "$OUT" > new_${RUN}.txt
fi
# 入库:唯一键去重,重复只更新 last_seen
while read -r s; do
[ -z "$s" ] && continue
echo "$(date +%F) $s"
done < "$OUT" >> history.log
# 新增资产直接过一遍存活与指纹,人工只看这份
httpx -l new_${RUN}.txt -silent -title -tech-detect -status-code
表结构建议:
domain TEXT UNIQUE
ip TEXT
first_seen DATE -- 首次发现时间,用于判断上线时间
last_seen DATE -- 最近一次仍解析
note TEXT -- 指纹、业务归属、处理结论
变体与关联
- 收集源变体:证书透明日志(crt.sh)、被动 DNS、搜索引擎差集、ICP 备案反查、爆破字典(主动);不同来源的新增含义不同,被动源出现的新名往往更可信。
- 监控对象变体:不只盯子域,也可定时监控端口开放变化、证书到期与更换、页面标题/指纹变化、JS 里新出现的域名与 API(新接口常意味着新功能)。
- 告警变体:把差集结果推送 IM/邮件;把“新增域名中命中敏感关键字”的风控单独告警。
- 关联:[[pentest-recon-multi-search-engine-diff-asset-discovery]](多引擎结果差集,是“横向来源差集”,本卡是“时间维度差集”)、[[pentest-recon-subdomain-enum-prescreen-candidate-explosion]](单次枚举的候选预筛与工程化)、[[pentest-recon-asset-scan-history-exposure-window]](用测绘历史记录估算暴露窗口)、[[pentest-recon-selfhosted-code-hosting-dork-explore-weak-password-source]](新资产中常见的一类高价值目标)。
- 边界:目标全部使用泛解析或多级 CDN 时,新增判定噪声大;被动源本身有延迟,新上线资产可能要过几天才出现在结果里;只在授权范围内对自有/授权目标执行。
检测与防御
- 防守视角:同一套监控可以反过来用——定期自查本单位新增子域/端口,确认是否存在“业务私自上线、未过安全评审”的资产;把 CMDB 与 DNS 解析结果对账,出现解析但不在 CMDB 的记录即暴露面缺口。
- 收敛暴露面:测试/临时环境用完即下线并删除解析;新系统上线前纳入统一 WAF 与基线;对泛解析做限制,避免任意子域都指向服务。
- 检测:DNS 查询日志中出现对同一主域下大量随机子域的解析请求(枚举特征);来自单一 IP 的高频被动源查询无法从 DNS 侧看到,但随后的
httpx类探测会在 Web 日志留下 UA/路径指纹。