scrapy爬取网页出现一部分503的解决办法

在没改代码前 settings.py里面爬取间隔设置的是 DOWNLOAD_DELAY = 0 有一次是 DOWNLOAD_DELAY = 0.5,但都出现了以下情况 将速度改慢一点，DOWNLOAD_DELAY = 1 最后成功啦！！ ps（可能是网慢吧，也不一定是某网页对爬虫的检查严厉） 成功图片：

>>阅读原文<<