Gerapy 分布式爬虫管理框架使用心得

要在远程服务器上布署自己的分布式爬虫，个人比较推荐gerapy爬虫管理框架。 这里就详细介绍一下gerapy的用法。 1.首先要下载grapy,同样如果使用虚拟环境做开发，以下操作全部在虚拟环境下进行，先进入命令行工具，进入虚拟环境，执行pip install gerapy 2.安装之后进行初始化，执行gerapy init 执行完毕之后，本地便会生成一个名字为 gerapy 的文件夹，接着进入该

>>阅读原文<<