Scrapy框架入门、创建scrapy文件

简单理解一下scrapy框架，架构图如下： scrapy engine 核心引擎 Scheduler 调度器：获取requests生成队列，传递requests至downloader downloader 下载器：处理requests，获取页面数据。引擎和下载器直接有一个中间件。 spiders 解析器：解析responses，返回items，生成新的requests传递至scheduler。引擎

>>阅读原文<<