住宅代理决定了请求从哪里发出。但总得有个"东西"来按计划、不间断地发送这些请求,而且不能依赖你的个人电脑。对大多数数据采集项目来说,这个"东西"就是 VPS。
下面介绍如何把 9HTTP 住宅代理与 PSB Hosting 的 VPS 组合起来,搭建一套 7×24 小时运行的环境。
两层架构,各司其职
服务器层负责运行你的软件:爬虫、采集程序、无头浏览器、任务队列、数据库和调度器。它需要 CPU、内存、高速磁盘和持续在线。
代理层负责让出站请求经由目标国家和城市的住宅IP发出。它需要大规模的IP池、准确的定位和灵活的会话方式。
两层分开,扩展起来更方便:需要更强的算力,就升级服务器;需要更多地区或更大带宽,就调整代理套餐。
代理层:9HTTP
9HTTP 提供住宅代理,拥有超 9000 万 IP,覆盖 195+ 个国家和地区。对数据采集来说,有用的能力包括:
- 轮转与粘性会话:广泛采集时可逐请求轮换,翻页、登录等多步骤流程则可保持同一IP。
- 国家与城市定位:用于采集本地化的价格、搜索结果和商品列表。
- HTTP 与 SOCKS5:兼容大多数爬虫框架和无头浏览器。
- 长效静态ISP与无限住宅代理:适用于需要长期固定IP或大流量的任务。
- API 与代码示例:便于快速集成。
服务器层:PSB Hosting
PSB Hosting 在荷兰、德国、芬兰和美国提供 VPS,配备 DDR5 内存、NVMe 存储、不限流量和最高 10 Gbit/s 端口,每月 $8 起,并提供 24/7 支持。对数据采集而言,这意味着:
- 不限流量:爬虫整天下载页面、图片和 JSON,无需计较流量。
- NVMe 存储:数据库和队列写入结果更快。
- DDR5 内存:Playwright、Puppeteer 等无头浏览器占用内存较多,内存越大,可并行的任务越多。
- 欧美节点:把服务器部署在离目标站点更近的位置,有助于降低延迟。
组合部署步骤
- 部署 VPS 并安装环境:Python 或 Node.js、爬虫框架、数据库(PostgreSQL、MongoDB 或 SQLite),以及调度工具(cron 或任务队列)。
- 用环境变量保存代理凭据:放在服务器上,不要写进代码。
- 按任务配置会话:广泛采集用轮转代理,需要多次请求保持同一IP的流程用粘性会话。
- 上线前测试:在服务器上通过代理执行一次 curl,即可看到出口IP和响应时间,提前发现端口或凭据错误。
- 定时运行并监控:按计划执行任务,记录错误和响应码,观察成功率以调整并发。
实用建议
- 并发受限于内存,而不是代理。 如果服务器开始使用 swap,就减少并行浏览器数量,或升级配置。
- 换新IP重试。 遇到超时或错误码时,通过新的轮转会话重试请求。
- 按地区拆分任务。 针对某国的任务搭配对应地区的代理定位,结果更一致。
- 遵守网站规则。 只采集公开数据,保持合理的请求频率,并遵守各网站的条款。
结语
9HTTP 提供住宅IP与地区定位,PSB Hosting 的 VPS 提供持续在线的算力。两者结合,就能搭建出全天候运行的数据采集环境,并可随项目增长向两个方向扩展:增加服务器,或增加代理容量。