Python爬虫框架Scrapy之爬取糗事百科大量段子数据

如上篇文章《Python爬虫框架之Scrapy详解》（传送门：Python爬虫框架之Scrapy详解）所述。 首先，准备scrapy环境： 安装Python，pip，使用pip安装lxml和scrapy。 scrapy startproject qiubai新建一个名为qiubai的scrapy爬虫项目。 新建qiubai爬虫项目 使用PyCharm打开，项目结构如图： 定义QiubaiItem：

>>阅读原文<<