Scrapy-redis分布式爬虫的实战案例【细节总结】

Scrapy-redis的原理分析：   实战案例【仅是在普通爬虫的基础上修改了几个细节】：  第一步：配置setting.py【这里非常重要，决定分布式爬虫的成败关键】 配置官方文档是最完善的：https://pypi.org/project/scrapy-redis/ 我的爬虫项目【scrapy_distributed】配置【一定要开启你的redis数据库-否则会链接失败】 // settin

>>阅读原文<<