Scrapy框架的使用之Scrapy框架介绍

Scrapy是一个基于Twisted的异步处理框架，是纯Python实现的爬虫框架，其架构清晰，模块之间的耦合程度低，可扩展性极强，可以灵活完成各种需求。我们只需要定制开发几个模块就可以轻松实现一个爬虫。 1. 架构介绍 首先我们看看Scrapy框架的架构，如下图所示。 它可以分为如下的几个部分。 Engine。引擎，处理整个系统的数据流处理、触发事务，是整个框架的核心。 Item。项目，它定义了

>>阅读原文<<