笔记十六：“点点点”就能作到的一款分布式爬虫管理框架——Gerapy

       前言：在上两篇博客中，咱们解决了大量信息的爬取问题分布式爬虫，用scrapy_redis把项目分别部署放到多个远程服务器上，提升了爬取数据的速度。又作到了使用scrapyd，在远程服务器上安装scrapyd,启动scrapyd服务，把scrapy项目经过scrapyd打包上传到远程服务主机上，而后咱们就能够经过请求scrapyd提供的各类API去控制爬虫项目的运行、中止或删除等操做！

>>阅读原文<<