scrapy vs requests+beautifulsoup

 

两种爬虫模式比较：

一、requests和beautifulsoup都是库，scrapy是框架。

二、scrapy框架中能够加入requests和beautifulsoup。

三、scrapy基于twisted，性能是最大的优点。

四、scrapy方便扩展，提供了不少内置的功能。

五、scrapy内置的css和xpath selector很是方便，beautifulsoup最大的缺点就是慢。

 

爬虫能作什么？

一、搜索引擎---百度、谷歌、垂直搜索引擎。

二、推荐引擎---今日头条

三、机器学习数据样本

五、数据分析（如金融数据分析）、舆情分析等。

 

网页分类：

常见类型的服务：

一、静态网页

二、动态网页

三、webservice（restapi）