curl_cffi impersonate 伪造浏览器 TLS/JA3 指纹绕过 Akamai 反爬:browserleaks 自检与受保护接口调用
web/generic · verified
一句话结论
普通 Python requests(urllib3/OpenSSL)发出的 TLS ClientHello 与浏览器差异明显,Akamai 等反爬系统可据 JA3/JA3N 与 HTTP/2 指纹判定为脚本流量;改用 curl_cffi 的 impersonate="chrome110" 等浏览器指纹模板后,tls.browserleaks.com/json 返回的 akamai_hash/akamai_text 从空变为有值,说明请求已被视为浏览器流量,从而可以通过 you.com/api/streamingSearch 这类受 Akamai 保护的接口。
原理
- TLS 指纹是什么:TLS 握手时客户端发送 ClientHello,包含 TLS 版本、加密套件列表及顺序、扩展(SNI、ALPN、signature_algorithms 等)、椭圆曲线与 EC point formats 等。JA3 把这些字段规范化后做 MD5,JA3N 则对扩展顺序不敏感;HTTP/2 层还有 SETTINGS、WINDOW_UPDATE、伪头顺序等指纹。不同客户端栈(Chrome、curl、Python requests)这些字段的组合不同,可被服务端稳定区分。
- 反爬为什么用它:Akamai 的 Bot Manager 等服务会在边缘计算客户端指纹,并输出
akamai_hash/akamai_text一类签名/画像。仅伪造User-Agent、Accept-Language等 HTTP 头不够——TLS 层仍暴露“这是 Python 脚本”。当指纹与声明浏览器不一致或落在已知脚本库集合中,就会被挑战/拦截。 - curl_cffi 的作用:
curl_cffi封装 curl-impersonate,内置 Chrome/Firefox/Safari 等版本的 TLS 扩展顺序、加密套件、HTTP/2 设置等配置。impersonate="chrome110"让底层握手复刻 Chrome 110,服务端看到的就是与声明 UA 相符的浏览器指纹,因此放行。 - 自检 oracle:
https://tls.browserleaks.com/json会回显ja3_hash、ja3n_hash、akamai_hash、akamai_text。用普通requests访问时akamai_hash/akamai_text为空;用curl_cffi的impersonate后两者有值,可以直接判断伪装是否生效,而不必反复打目标。 - 为什么能绕过:目标(如 you.com)把“通过 Akamai 指纹校验”作为放行条件之一。指纹匹配后,接口本身没有额外强认证(公开的搜索/聊天接口),脚本即可按浏览器同样的参数调用并读取 SSE 流。
触发条件
- 目标站点/接口位于 Akamai(或类似基于 TLS 指纹的)反爬体系后,普通脚本请求被返回挑战页/空数据。
- 目标需要的能力(例如 AI 聊天接口)只靠指纹与常规头校验,没有强制登录、签名参数或 JS 挑战绑定。
- 攻击者可安装
curl_cffi(或 curl-impersonate、浏览器自动化等其他指纹伪装手段)。 - 代理出口未被目标按 IP 信誉整体封禁;指纹修正解决的是客户端特征,不解决 IP 封禁。
利用步骤
- 建立基线:用普通
requests带浏览器 UA 访问tls.browserleaks.com/json,记录ja3_hash、akamai_hash、akamai_text,确认akamai_hash/akamai_text为空(说明被识别为非浏览器)。 - 换指纹栈:安装
curl_cffi,保持相同 UA/头,改用from curl_cffi import requests并加impersonate="chrome110",再次访问 browserleaks,确认akamai_hash/akamai_text已有值,且ja3_hash变为对应浏览器的指纹。 - 对齐声明与指纹:目标侧
User-Agent、sec-ch-ua、Accept-Language等头要与impersonate的浏览器版本一致;必要时带Referer(如目标站点首页)与Accept: text/event-stream。 - 调用目标接口:以 you.com 为例,
GET https://you.com/api/streamingSearch?q=hi&domain=youchat&chat=(完整参数可带page/count/safeSearch/responseFilter/use_personalization_extraction等,均可从浏览器抓包获取),响应是 SSE,逐条解析event: youChatToken中的data: {"youChatToken":"..."}拼接答案。 - 稳定性处理:按目标选择匹配的
impersonate版本(如chrome107/chrome110),配合代理池与请求间隔;若仍被挑战,说明目标还有 JS 挑战/账号风控,需要浏览器自动化或进一步研究。
PoC
基线自检(普通 requests,akamai 字段为空):
import requests
headers = {
'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 '
'(KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 Edg/118.0.2088.46',
'accept-language': 'zh-CN,zh;q=0.9,en;q=0.8',
}
data = requests.get('https://tls.browserleaks.com/json', headers=headers).json()
print(data['ja3_hash'], repr(data.get('akamai_hash'))) # akamai_hash / akamai_text 为空
伪造指纹(curl_cffi,akamai 字段有值):
from curl_cffi import requests
headers = {...同上面...}
data = requests.get('https://tls.browserleaks.com/json', headers=headers,
impersonate="chrome110").json()
print(data['ja3_hash'], data['akamai_hash']) # 均非空,指纹变为 Chrome
调用受保护接口(you.com SSE):
from curl_cffi import requests
params = {"q": "hi", "domain": "youchat", "chat": ""}
headers = {"Accept": "text/event-stream",
"Referer": "https://you.com/search?fromSearchBar=true&tbm=youchat"}
resp = requests.get("https://you.com/api/streamingSearch", params=params,
headers=headers, impersonate="chrome107", timeout=120)
for line in resp.iter_lines():
if line.startswith(b"data: ") and b"youChatToken" in line:
print(line.decode("utf-8", "ignore"))
变体与关联
- 异步/流式:curl_cffi 的
StreamSession(impersonate="chrome107")支持流式读取,适合 SSE/长连接;原文的原始实现即用AsyncSession/StreamSession。 - 版本对齐:
impersonate可选chrome99~chrome120+、safari15_5等;选与请求头 UA 一致的版本,否则头部与指纹矛盾反而更可疑。 - 代理组合:
proxies={"https": proxy}与指纹伪装正交;IP 信誉、请求频率、行为轨迹仍是风控维度,单靠 TLS 指纹不能保证长期稳定。 - 其他反爬体系:Cloudflare 的托管挑战主要依赖 JS 执行与 clearance cookie,仅伪装 TLS 指纹通常不够;Akamai 的传感器数据(_abck/bm_sz)也更复杂,本卡只覆盖“指纹判定”这一层。
- 与 AI 接口滥用的关系:见关联卡 [[ai-security-gateway-security-third-party-gpt-web-api-token-abuse]],you.com 的
/api/streamingSearch被 gpt4free 直接调用,普通 requests 会拿到“检查站点连接是否安全”挑战页,换成 curl_cffi 指纹后可用。 - 工具侧:除 curl_cffi 外,curl-impersonate、tls-client、undetected-chromedriver、Playwright 等也能改变指纹;选择取决于是否需要 JS 执行。
检测与防御
- 防御方(站点/接口运营者):不要只依赖 UA 或 IP 黑名单。启用 Akamai/Cloudflare 等 Bot Management,结合 TLS/JA3、HTTP/2 指纹、浏览器传感器数据、行为速率与账号维度做联合判定;对关键接口增加登录态、一次性签名/时间戳、JS 挑战,避免“公开接口 + 无状态参数”被脚本直接调用。
- 检测信号:同一 UA 但 JA3 与真实浏览器不符(例如声明 Chrome 118 但指纹是 Python/curl 栈);大量来自同一 ASN 的 SSE 长连接;请求参数与前端实现完全一致但缺少浏览器特有头/顺序;
tls.browserleaks.com这类回显服务在流量中出现(说明对方在自检指纹)。 - 局限:指纹伪装只能解决“客户端栈被识别”的问题;不能绕过 IP 封禁、账号风控、验证码与 JS 挑战。把 TLS 指纹当作唯一防线或唯一绕过手段都会失效。