python爬虫框架Scrapy

目录 Scrapy简介 入门案例 Scrapy简介 Scrapy主要包括了如下组件：()javascript 引擎(ScrapyEngine) 用来处理整个系统的数据流处理, 触发事务(框架核心)html 调度器(Scheduler) 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 能够想像成一个URL（抓取网页的网址或者说是连接）的优先队列, 由它来决定下一个要抓取的网址

>>阅读原文<<