scrapy库学习

scrapy是一个爬虫框架，爬虫框架是实现爬虫功能的一个软件结构和功能组件集合，是一个半成品，能够帮助用户实现专业网站爬虫。 功能模块分析 Engine 整个框架的核心，控制所有模块之间的数据流 根据条件触发事件 Downloader -> 根据请求下载网页 Scheduler ->对所有爬取请求进行调度管理 Downloader Middleware ->实施三者之间进行用户可配置的控制，修改，

>>阅读原文<<