python爬虫实例——用scarpy框架爬取全部新浪新闻

使用scrapy框架爬取新浪网导航页所有的大类，小类的子链接，取出链接页面新闻内容。 python版本3.5 注意点：spider文件中不写allowed domains,因为后面的子链接的url中跟不包含new.sina.com 爬虫运行报错：DEBUG: Filtered offsite request to 'weixin.sogou.com' 报错原因： 官方对这个的解释，是要reques

>>阅读原文<<