改造 Scrapy 的 TLS 与 HTTP/2 指纹,核心思路是替换默认的下载器处理器(Download Handler)。因为 Scrapy 原生的 Twisted 栈生成的指纹与真实浏览器差异显著,社区主流方案是接入 curl_cffi、rnet 等底层库,由它们负责完成浏览器级别的 TLS 握手和 HTTP/2 帧构造。

🚀 主流方案:使用专用插件替换 Download Handler

这是最推荐的方式,通常只需修改配置和请求元数据(meta)即可,对业务代码的侵入性最小。

方案一:scrapy-impersonate(基于 curl_cffi,成熟度高)

scrapy-impersonate 是目前最流行的选择之一,它包装了 curl_cffi,能模拟浏览器的 TLS 签名(JA3)以及 HTTP/2 指纹。

安装:

pip install scrapy-impersonate 

配置 settings.py:

# 必须切换为 asyncio reactor TWISTED_REACTOR = "twisted.internet.asyncioreactor.AsyncioSelectorReactor" # 替换默认的下载处理器 DOWNLOAD_HANDLERS = { "http": "scrapy_impersonate.ImpersonateDownloadHandler", "https": "scrapy_impersonate.ImpersonateDownloadHandler", } # 让 curl_cffi 根据模拟的浏览器自动设置 User-Agent USER_AGENT = None # 可选:启用随机浏览器中间件,让每个请求随机使用一种浏览器指纹 DOWNLOADER_MIDDLEWARES = { "scrapy_impersonate.RandomBrowserMiddleware": 1000, } 

在请求中指定指纹:
通过 meta 中的 impersonate 键,可以为单个请求指定要模拟的浏览器。如果不指定,则会使用库的默认值。

import scrapy class MySpider(scrapy.Spider): name = "fingerprint_spider" def start_requests(self): for browser in ["chrome133a", "firefox133", "safari17_0"]: yield scrapy.Request( "https://tls.browserleaks.com/json", meta={"impersonate": browser}, dont_filter=True, ) def parse(self, response): data = response.json() self.logger.info(f"JA3: {data.get('ja3_hash')}") 

支持的浏览器标识包括 chrome110、chrome133a、edge99、safari15_5、firefox133 等。

方案二:scrapy-curl-cffi(更底层的直接控制)

scrapy-curl-cffi 是另一个基于 curl_cffi 的选项,它的特点是允许通过 curl_cffi_options 传递更精细的底层参数。

安装:

pip install scrapy-curl-cffi 

配置 settings.py:

DOWNLOAD_HANDLERS = { "http": "scrapy_curl_cffi.handlers.CurlCffiDownloadHandler", "https": "scrapy_curl_cffi.handlers.CurlCffiDownloadHandler", } DOWNLOADER_MIDDLEWARES = { "scrapy_curl_cffi.middlewares.CurlCffiMiddleware": 200, "scrapy_curl_cffi.middlewares.DefaultHeadersMiddleware": 400, "scrapy_curl_cffi.middlewares.UserAgentMiddleware": 500, # 禁用 Scrapy 原生的对应中间件 "scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware": None, "scrapy.downloadermiddlewares.useragent.UserAgentMiddleware": None, } TWISTED_REACTOR = "twisted.internet.asyncioreactor.AsyncioSelectorReactor" 

使用方式:将参数放在 Request.meta["curl_cffi_options"] 中。除了 impersonate,还可以直接指定 JA3 字符串、Akamai 指纹或额外的指纹选项。

yield scrapy.Request( "https://tls.browserleaks.com/json", meta={ "curl_cffi_options": { "impersonate": "chrome", # "ja3": "771,4865-4866-4867-49195...", # 直接指定 JA3 字符串 # "akamai": "1:65536;2:0;4:6291456;...", # 指定 Akamai HTTP/2 指纹 } }, ) 

其他可选插件

  • scrapy-rnet:基于 rnet 库(使用 BoringSSL),同样提供浏览器级的 TLS/HTTP2 指纹模拟。配置方式与 scrapy-impersonate 类似,通过 meta={"impersonate": Impersonate.Chrome132} 指定指纹。需要注意它要求 Python 3.12+ 和 Scrapy 2.12+。
  • scrapy-fake-tls:同样是 curl_cffi 的封装,支持通过 meta["impersonate"] 进行请求级指纹轮换,并在 settings.py 中通过 CURL_CFFI_IMPERSONATE 设置默认浏览器。

🔧 原生/底层修改思路(不推荐,局限性大)

如果不引入外部库,仅修改 Scrapy/Twisted 的配置,能触及的层面非常有限:

  • JA3(有限修改):scrapy-ja3 这类包通过修改 Scrapy 打包的 DEFAULT_CIPHERS 来尝试伪造 JA3 哈希。但这只能改变密码套件列表,无法控制 TLS 扩展、椭圆曲线等关键字段,生成的指纹仍然不完整,极易被识别。
  • HTTP/2(基本不可行):Scrapy 对 HTTP/2 的支持本身就是实验性的,且存在明确限制(如固定帧大小、不支持 h2c 等)。其 HTTP/2 的 SETTINGS 帧、窗口大小、优先级树等参数几乎无法通过简单配置修改成与浏览器一致。

因此,依赖 curl_cffi 或 rnet 的插件方案是实际可行的唯一路径。

⚠️ 关键注意事项

  1. 必须切换 Twisted Reactor:所有基于 curl_cffi/rnet 的方案都依赖 asyncio,必须在 settings.py 中设置 TWISTED_REACTOR = "twisted.internet.asyncioreactor.AsyncioSelectorReactor",否则无法正常工作。
  2. User-Agent 的自动管理:启用模拟后,建议将 USER_AGENT 设为 None 或空值,让底层库根据模拟的浏览器自动生成匹配的 UA,避免 UA 与 TLS 指纹不一致而暴露。
  3. HTTP/2 支持是隐式的:当你使用 scrapy-impersonate 或 scrapy-curl-cffi 并指定 impersonate: chrome 时,底层 curl_cffi 会自动使用与 Chrome 匹配的 HTTP/2 设置与服务器通信,无需额外开启 Scrapy 那个实验性的 H2DownloadHandler。你得到的 HTTP/2 指纹(如 SETTINGS 帧参数)是贴近所选浏览器的。
  4. 维护性与版本匹配:这些插件的可用浏览器版本列表会随 curl_cffi 更新。应定期更新插件,并确保代码中使用的 impersonate 标识(如 chrome133a)在库的支持列表中,避免因版本不匹配导致模拟失效。