Python爬虫教程之Scrapy 框架

一、Scrapy 框架 Scrapy 是⽤纯 Python 实现⼀个为了爬取⽹站数据、提取结构性数据⽽编写的应⽤框架，⽤途⾮常⼴泛。 框架的⼒量，⽤户只需要定制开发⼏个模块就可以轻松的实现⼀个爬⾍，⽤来抓取⽹⻚内容以及各种图⽚，⾮常之⽅便。 Scrapy 使⽤了 Twisted ['twɪstɪd] (其主要对⼿是 Tornado)异步⽹络框架来处理⽹络通讯，可以加快我们的下载速度，不⽤⾃⼰去实现

>>阅读原文<<