scrapy.shell 碰到503的错误

这几天刚刚学习scrapy的时候，有的时候想用scrapy.shell验证一下xpath的正确性，方便点，但经常遇到503的错误，所以总结一下： 打开cmd直接输入scrapy.shell， 就会报错503 所以我们需要这样做，进入项目的spiders文件夹 然后就ok了 但是在这之前，我们还需要设置一些东西，进入你要爬的网站，比如http://www.xicidaili.com/nn/ 然后F1

>>阅读原文<<