爬虫 (四) 必须掌握的基础概念 (一)

点击上方蓝字关注我们 欢迎关注我的公众号，志学Python 01 爬虫分类 根据实际应该场景，可以分为通用爬虫和聚焦爬虫 02 通用爬虫 所谓的通用爬虫就是指现在的搜索引擎（谷歌，雅虎，百度）主要的构成部分，主要是互联网的网页爬取下来存于本地，形成备份 03 搜索引擎的工作原理 通用网络爬虫 从互联网中搜集网页，采集信息，这些网页信息用于为搜索引擎建立索引从而提供支持，它决定着整个引擎系统的内容是

>>阅读原文<<