跟繁琐的命令行说拜拜！Gerapy分布式爬虫管理框架来袭！

跟繁琐的命令行说拜拜！Gerapy分布式爬虫管理框架来袭！ 背景 用 Python 做过爬虫的小伙伴可能接触过 Scrapy，GitHub：https://github.com/scrapy/scrapy。Scrapy 的确是一个非常强大的爬虫框架，爬取效率高，扩展性好，基本上是使用 Python 开发爬虫的必备利器。如果使用 Scrapy 做爬虫，那么在爬取时，我们当然完全可以使用自己的主机来完

>>阅读原文<<