环境逼真

  1. 核心工具：patchright

    • 基于 Playwright 的改造升级版，能够隐藏大部分自动化驱动的浏览器特征，使其更为逼近真实的浏览器。
    • 一个爬虫定制过的浏览器特征基本能够解决大部分问题，另外还有 dressionpage 选择。

  2. 启动关键参数配置

    • 必须使用有头模式，且在容器内做好虚拟屏幕的配置。
    • 选用 Chrome，而不是 Chromium（patchright install chrome channel="chrome"）。 
 async def run_aws(self): """ 在AWS服务器启动 """ proxy = self.proxy from pyvirtualdisplay import Display with Display(): await self.run_local(proxy)
  1. 高质量代理 IP

行为逼真

  1. 独立无痕模式上下文，用完则销毁，避免 cookies 和 IP 出现串扰异常。
  2. 预加载首页 → 刷新 → 再跳转详情页。

人机验证

  1. 定位点击框架，模拟点击。