关于Splash负载均衡配置 在Python3爬虫里的详解

用Splash做页面抓取时，如果爬取的任务非常多且量非常大，用一个Splash服务来处理的话压力很大，此时可以考虑搭建一个负载均衡器来把压力分散到各个服务器上。这相当于多台机器多个服务共同参与任务的处理，可以减小单个Splash服务的压力。 1. 配置Splash服务 要搭建Splash负载均衡，首先要有多个Splash服务。假如这里在4台远程主机的8050端口上都开启了Splash服务，它们的服

>>阅读原文<<