关于Scrapy爬虫项目运行和调试的小技巧（下篇）

前几天给你们分享了关于Scrapy爬虫项目运行和调试的小技巧上篇，没来得及上车的小伙伴能够戳超连接看一下。今天小编继续沿着上篇的思路往下延伸，给你们分享更为实用的Scrapy项目调试技巧。shell 3、设置网站robots.txt规则为False框架 通常的，咱们在运用Scrapy框架抓取数据以前，须要提早到settings.py文件中，将“ROBOTSTXT_OBEY = True”改成ROB

>>阅读原文<<