新浪网分类资讯爬虫

      从GitHub得到完整项目（https://github.com/daleyzou/sinainfo.git） 1、简介 爬取新浪网导航页所有下所有大类、小类、小类里的子链接，以及子链接页面的新闻内容。 效果演示图： 2、代码 items.py 1 spiders/sina.py(爬虫) 1 # -*- coding: utf-8 -*- 2 import scrapy

>>阅读原文<<