通用爬虫和聚焦爬虫的区别

根据使用场景网络爬虫可分为通用爬虫和聚焦爬虫两种。 1 通用爬虫 通用网络爬虫是捜索引擎抓取系统（Baidu、Google、Yahoo等）的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。 1.1 目标 把互联网上所有的网页下载下来，放到本地服务器里形成备份，再对这些网页做相关处理（提取关键字、去掉广告），最后提供一个用户检索接口。 通用爬虫工作流程：爬取网页–存

>>阅读原文<<