爬虫scrapy框架学习(三)

  3.示例2RedisSpider:               a.使用方法:它与示例1只有一个地方不同,就是将start_url存入redis中,代码如下:                                         b.总结:该示例很简单,只是将start_url存入redis_key中,就可实现分布式爬虫,                           多台电脑
相关文章
相关标签/搜索