分布式爬虫实践（附带源码地址）

分布式爬虫优势： 能够充分利用多台机器的带宽 能够充分利用多台机器的ip地址（同一个局域网内用的仍是一个，分布式没有用） 多台机器作，爬取效率更高 分布式爬虫须要解决的问题 分布式爬虫是好几台机器在同时运行，如何保证不一样的机器爬取页面的时候不会出现重复爬取的问题 一样，分布式爬虫在不一样的机器上运行，如何把数据爬完后保证保存在同一个老地方 scrapy-redis是一个组件不是框架，能够集成到s

>>阅读原文<<