♧ Godown 安全知识树

curl_cffi impersonate 伪造浏览器 TLS/JA3 指纹绕过 Akamai 反爬:browserleaks 自检与受保护接口调用

web/generic · verified

一句话结论

普通 Python requests(urllib3/OpenSSL)发出的 TLS ClientHello 与浏览器差异明显,Akamai 等反爬系统可据 JA3/JA3N 与 HTTP/2 指纹判定为脚本流量;改用 curl_cffi 的 impersonate="chrome110" 等浏览器指纹模板后,tls.browserleaks.com/json 返回的 akamai_hash/akamai_text 从空变为有值,说明请求已被视为浏览器流量,从而可以通过 you.com/api/streamingSearch 这类受 Akamai 保护的接口。

原理

  • TLS 指纹是什么:TLS 握手时客户端发送 ClientHello,包含 TLS 版本、加密套件列表及顺序、扩展(SNI、ALPN、signature_algorithms 等)、椭圆曲线与 EC point formats 等。JA3 把这些字段规范化后做 MD5,JA3N 则对扩展顺序不敏感;HTTP/2 层还有 SETTINGS、WINDOW_UPDATE、伪头顺序等指纹。不同客户端栈(Chrome、curl、Python requests)这些字段的组合不同,可被服务端稳定区分。
  • 反爬为什么用它:Akamai 的 Bot Manager 等服务会在边缘计算客户端指纹,并输出 akamai_hash/akamai_text 一类签名/画像。仅伪造 User-Agent、Accept-Language 等 HTTP 头不够——TLS 层仍暴露“这是 Python 脚本”。当指纹与声明浏览器不一致或落在已知脚本库集合中,就会被挑战/拦截。
  • curl_cffi 的作用:curl_cffi 封装 curl-impersonate,内置 Chrome/Firefox/Safari 等版本的 TLS 扩展顺序、加密套件、HTTP/2 设置等配置。impersonate="chrome110" 让底层握手复刻 Chrome 110,服务端看到的就是与声明 UA 相符的浏览器指纹,因此放行。
  • 自检 oracle:https://tls.browserleaks.com/json 会回显 ja3_hash、ja3n_hash、akamai_hash、akamai_text。用普通 requests 访问时 akamai_hash/akamai_text 为空;用 curl_cffi 的 impersonate 后两者有值,可以直接判断伪装是否生效,而不必反复打目标。
  • 为什么能绕过:目标(如 you.com)把“通过 Akamai 指纹校验”作为放行条件之一。指纹匹配后,接口本身没有额外强认证(公开的搜索/聊天接口),脚本即可按浏览器同样的参数调用并读取 SSE 流。

触发条件

  • 目标站点/接口位于 Akamai(或类似基于 TLS 指纹的)反爬体系后,普通脚本请求被返回挑战页/空数据。
  • 目标需要的能力(例如 AI 聊天接口)只靠指纹与常规头校验,没有强制登录、签名参数或 JS 挑战绑定。
  • 攻击者可安装 curl_cffi(或 curl-impersonate、浏览器自动化等其他指纹伪装手段)。
  • 代理出口未被目标按 IP 信誉整体封禁;指纹修正解决的是客户端特征,不解决 IP 封禁。

利用步骤

  1. 建立基线:用普通 requests 带浏览器 UA 访问 tls.browserleaks.com/json,记录 ja3_hash、akamai_hash、akamai_text,确认 akamai_hash/akamai_text 为空(说明被识别为非浏览器)。
  2. 换指纹栈:安装 curl_cffi,保持相同 UA/头,改用 from curl_cffi import requests 并加 impersonate="chrome110",再次访问 browserleaks,确认 akamai_hash/akamai_text 已有值,且 ja3_hash 变为对应浏览器的指纹。
  3. 对齐声明与指纹:目标侧 User-Agent、sec-ch-ua、Accept-Language 等头要与 impersonate 的浏览器版本一致;必要时带 Referer(如目标站点首页)与 Accept: text/event-stream。
  4. 调用目标接口:以 you.com 为例,GET https://you.com/api/streamingSearch?q=hi&domain=youchat&chat=(完整参数可带 page/count/safeSearch/responseFilter/use_personalization_extraction 等,均可从浏览器抓包获取),响应是 SSE,逐条解析 event: youChatToken 中的 data: {"youChatToken":"..."} 拼接答案。
  5. 稳定性处理:按目标选择匹配的 impersonate 版本(如 chrome107/chrome110),配合代理池与请求间隔;若仍被挑战,说明目标还有 JS 挑战/账号风控,需要浏览器自动化或进一步研究。

PoC

基线自检(普通 requests,akamai 字段为空):

import requests
headers = {
    'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 '
                  '(KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 Edg/118.0.2088.46',
    'accept-language': 'zh-CN,zh;q=0.9,en;q=0.8',
}
data = requests.get('https://tls.browserleaks.com/json', headers=headers).json()
print(data['ja3_hash'], repr(data.get('akamai_hash')))   # akamai_hash / akamai_text 为空

伪造指纹(curl_cffi,akamai 字段有值):

from curl_cffi import requests
headers = {...同上面...}
data = requests.get('https://tls.browserleaks.com/json', headers=headers,
                    impersonate="chrome110").json()
print(data['ja3_hash'], data['akamai_hash'])   # 均非空,指纹变为 Chrome

调用受保护接口(you.com SSE):

from curl_cffi import requests

params = {"q": "hi", "domain": "youchat", "chat": ""}
headers = {"Accept": "text/event-stream",
           "Referer": "https://you.com/search?fromSearchBar=true&tbm=youchat"}
resp = requests.get("https://you.com/api/streamingSearch", params=params,
                    headers=headers, impersonate="chrome107", timeout=120)
for line in resp.iter_lines():
    if line.startswith(b"data: ") and b"youChatToken" in line:
        print(line.decode("utf-8", "ignore"))

变体与关联

  • 异步/流式:curl_cffi 的 StreamSession(impersonate="chrome107") 支持流式读取,适合 SSE/长连接;原文的原始实现即用 AsyncSession/StreamSession。
  • 版本对齐:impersonate 可选 chrome99~chrome120+、safari15_5 等;选与请求头 UA 一致的版本,否则头部与指纹矛盾反而更可疑。
  • 代理组合:proxies={"https": proxy} 与指纹伪装正交;IP 信誉、请求频率、行为轨迹仍是风控维度,单靠 TLS 指纹不能保证长期稳定。
  • 其他反爬体系:Cloudflare 的托管挑战主要依赖 JS 执行与 clearance cookie,仅伪装 TLS 指纹通常不够;Akamai 的传感器数据(_abck/bm_sz)也更复杂,本卡只覆盖“指纹判定”这一层。
  • 与 AI 接口滥用的关系:见关联卡 [[ai-security-gateway-security-third-party-gpt-web-api-token-abuse]],you.com 的 /api/streamingSearch 被 gpt4free 直接调用,普通 requests 会拿到“检查站点连接是否安全”挑战页,换成 curl_cffi 指纹后可用。
  • 工具侧:除 curl_cffi 外,curl-impersonate、tls-client、undetected-chromedriver、Playwright 等也能改变指纹;选择取决于是否需要 JS 执行。

检测与防御

  • 防御方(站点/接口运营者):不要只依赖 UA 或 IP 黑名单。启用 Akamai/Cloudflare 等 Bot Management,结合 TLS/JA3、HTTP/2 指纹、浏览器传感器数据、行为速率与账号维度做联合判定;对关键接口增加登录态、一次性签名/时间戳、JS 挑战,避免“公开接口 + 无状态参数”被脚本直接调用。
  • 检测信号:同一 UA 但 JA3 与真实浏览器不符(例如声明 Chrome 118 但指纹是 Python/curl 栈);大量来自同一 ASN 的 SSE 长连接;请求参数与前端实现完全一致但缺少浏览器特有头/顺序;tls.browserleaks.com 这类回显服务在流量中出现(说明对方在自检指纹)。
  • 局限:指纹伪装只能解决“客户端栈被识别”的问题;不能绕过 IP 封禁、账号风控、验证码与 JS 挑战。把 TLS 指纹当作唯一防线或唯一绕过手段都会失效。