Scrapy学习笔记(1) --Scrapy的介绍

一、Scrapy简介 Scrapy，Python开发的一个快速(基于异步处理框架Twisted)、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 二、Scrapy的构成 Scrapy主要由以下组件组成: Scheduler:url调度器，接收来自Scrapy Engine的请求，并压入队列，在Scrapy

>>阅读原文<<