Scrapy: 为什么xpath和css明明是对的，但却爬不到任何内容？

有很多小伙伴入门Scrapy的时候都会有这样的疑问：明明写的xpath和css是对的（就算真自己写错，那用谷歌或火狐返回的xpath和css不会错的吧），但总是返回一个空列表。 解决办法很简单，改变自己的一个观念就好：Scrapy爬虫看到的页面结构与我们自己在浏览器看到的可能并不一样。 所以scrapy shell这种工具就非常有用了。 官方对它的说明是： The shell is used fo

>>阅读原文<<