Scrapy （网络爬虫框架）入门

一.Scrapy 简介：linux Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，Scrapy 使用了 Twisted['twɪstɪd](其主要对手是Tornado)异步网络框架来处理网络通信，能够加快咱们的下载速度，不用本身去实现异步框架，而且包含了各类中间件接口，能够灵活的完成各类需求。 网络 二.Scrapy框架框架 1.框架图异步 绿色线是数据流

>>阅读原文<<