Scrapy爬取globaltimes英语新闻站点

目标站点与分析 访问http://www.globaltimes.cn　站点，可以看到目标站点分为几大新闻板块，大板块下还有其他子板块，其中还包含了视频，图片等板块。在这里只爬取新闻板块吧。 访问新闻详情页可以看到网站链接类似于｀http://www.globaltimes.cn/content/*.shtml｀　的链接，所以随便输入一个数字，就可以访问到具体的新闻详情页了，可以极大的减少正则书写

>>阅读原文<<