Python 爬虫-Scrapy爬虫框架

2017-07-29 17:50:29 Scrapy是一个快速功能强大的网络爬虫框架。 Scrapy不是一个函数功能库,而是一个爬虫框架。爬虫框架是实现爬虫功能的一个软件结构和功能组件集合。爬虫框架是一个半成品,能够帮助用户实现专业网络爬虫。  一、Scrapy框架介绍 5+2结构,5个主要模块加2个中间件。 (1)Engine:控制所有模块之间的数据流;根据条件触发事件。不需要用户修改 (2)D
相关文章
相关标签/搜索