使用Docker Swarm搭建分布式爬虫集群

在爬虫开发过程当中,你确定遇到过须要把爬虫部署在多个服务器上面的状况。此时你是怎么操做的呢?逐一SSH登陆每一个服务器,使用git拉下代码,而后运行?代码修改了,因而又要一个服务器一个服务器登陆上去依次更新?node 有时候爬虫只须要在一个服务器上面运行,有时候须要在200个服务器上面运行。你是怎么快速切换的呢?一个服务器一个服务器登陆上去开关?或者聪明一点,在Redis里面设置一个能够修改的标记
相关文章
相关标签/搜索