scrapy 爬虫踩过的坑（I）

问题1：正则表达式没问题，但是爬虫进不了item方法 分析： 　　1. 可能是下载不到list 页面的内容。可以用 scrapy shell url 进行测试 　　 　　2. 可能是allowed_domains 不允许 　　   　　3. list 页面里的链接不符合正则表达式 或者说list 页面里根本就没有相关的链接 解决方案  针对第一种：有可能是所爬取的网站有反爬虫机制，比如禁掉你的ip

>>阅读原文<<