python之简单Scrapy分布式爬虫的实现

分布式爬虫：爬虫共用同一个爬虫程序，即把同一个爬虫程序同时部署到多台电脑上运行，这样能够提升爬虫速度。redis 在默认状况下，scrapy爬虫是单机爬虫，只能在一台电脑上运行，由于爬虫调度器当中的队列queue去重和set集合都是在本机上建立的，其余的电脑没法访问另一台电脑上的内存的内容；想要让多台机器共用一个queue队列和set集合，可让scrapy结合scrapy_redis来完成。数据库

>>阅读原文<<