Scrapy 使用CrawlSpider整站抓取文章内容实现

刚接触Scrapy框架，不是很熟悉，之前用webdriver+selenium实现过头条的抓取，但是感觉对于整站抓取，之前的这种用无GUI的浏览器方式，效率不够高，所以尝试用CrawlSpider来实现。 这里通过一个实例加深对Scrapy框架的理解。 本文开发环境： Win7 64位 Python 3.6 Scrapy 1.5.1 VS Code 1.27.2 本文目标：抓取网站https://

>>阅读原文<<