网络爬虫--1.通用爬虫和聚焦爬虫

文章目录 一.前言 二.通用爬虫 1.工作原理 2.通用爬虫的局限性 三.聚焦爬虫 一.前言 根据使用场景，网络爬虫可分为 通用爬虫 和 聚焦爬虫 两种。 其中通用网络爬虫是捜索引擎抓取系统（Baidu、Google、Yahoo等）的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。 二.通用爬虫 1.工作原理 通用网络爬虫从互联网中搜集网页，采集信息，这些网页信息

>>阅读原文<<