scrapy爬取新浪网站全栈新闻标题内容,并且分类存入文件夹中

首先我带大家先分析一下新浪网站的整体布局,爬取的内容从新浪网的导航页开始逐层爬取内容,这是新浪网导航页的网址http://news.sina.com.cn/guide/,先带大家看一下新浪网的导航页的页面布局。 我们看到新浪网的导航分类,是新闻的标题下面还设置小标题,如新闻下面包括国内、国际、社会等等,点击国内就会进入页面详情,每一条新闻都会呈现在大家面前,点击新闻详情的链接就如进入到每条新闻的详
相关文章
相关标签/搜索