用scrapy-redis爬去新浪-以及把数据存储到mongo,mysql数据库中

需求：爬取新浪网导航页（http://news.sina.com.cn/guide/）所有下所有大类、小类、小类里的子链接，以及子链接页面的新闻内容。 准备工作： a.安装redis(windows或者linux) b.安装Redis Desktop Manager c.scrapy-redis的安装以及scrapy的安装 d.安装mongo e.安装mysql 创建项目和相关配置 创建项目命令：

>>阅读原文<<