python——爬虫学习——Scrapy爬虫框架入门-(6)

Scrapy，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途普遍，能够用于数据挖掘、监测和自动化测试。python 1、”5+2”结构 1.Engine(引擎) 控制全部模块之间的数据流，根据条件触发事件 不须要用户修改web 2.Downloader(下载器) 根据请求下载网页 不须要用户修改shell 3.Sched

>>阅读原文<<