用scrapy写爬虫 显示 Filtered offsite request to 错误.

爬电源网公司信息，无法爬取。 查看控制台发现报如下错误： DEBUG: Filtered offsite request to ‘product.dianyuan.com’: 果断上网百度 ,找到答案 。 官方对这个的解释，是你要request的地址和allow_domain里面的冲突，从而被过滤掉。可以停用过滤功能。 yield Request(url, callback=self.parse_

>>阅读原文<<