【爬虫学习笔记day03】1.1. (了解)通用爬虫和聚焦爬虫+通用搜索引擎（Search Engine）工作原理+聚焦爬虫

文章目录 1.1. (了解)通用爬虫和聚焦爬虫 通用爬虫和聚焦爬虫 通用爬虫 通用搜索引擎（Search Engine）工作原理 第一步：抓取网页 搜索引擎如何获取一个新网站的URL： 1. 新网站向搜索引擎主动提交网址：（如百度http://zhanzhang.baidu.com/linksubmit/url） 2. 在其他网站上设置新网站外链（尽可能处于搜索引擎爬虫爬取范围） 3. 搜索引擎和

>>阅读原文<<