基于scrapy_redis建立scrapy的分布式爬虫

前记：        我们都是知道scrapy爬虫框架是一个Python的一个很强大的爬虫框架，也是被很多用Python写爬虫的使用者熟知的一个框架，而今天我们就来看看基于scrapy_redis所建立的分布式scrapy爬虫的强大。 1.准备 首先我们需要准备一个写过scrapy的爬虫，并且用MySQL异步存储的 我们需要下载scrapy_redis工具包，就简单的打开我们命令行工具然后进入我们

>>阅读原文<<