爬虫的分类和爬虫的流程

爬虫的分类 在上一小结中，我们介绍爬虫爬取到的数据用途的时候，给大家举了两个例子，其实就是两种不同类型的爬虫 根据被爬网站的数量的不同，我们把爬虫分为： 通用爬虫 ：通常指搜索引擎的爬虫 聚焦爬虫 ：针对特定网站的爬虫 爬虫的流程 请思考：如果自己要实现一个和百度新闻一样的网站需要怎么做？ 聚焦爬虫的工作流程如下： 搜索引擎的工作流程如下： 但是搜索引擎类似的通用爬虫的工作流程有些不同 搜索引擎的

>>阅读原文<<