搜索引擎工作过程

第一步 爬行和抓取 1）搜索引擎用来爬行和访问页面的程序被称为蜘蛛（spider），也叫机器人（bot）。蜘蛛其实就是搜索引擎的手下，搜索引擎命令它到互联网上浏览网页，从而得到互联网的所有数据，然后把这些数据存到搜索引擎自己的数据库中。我们网站中不能有死链接。必须要让蜘蛛在网站网站里面畅通无阻的抓取页面。 2）蜘蛛爬行的方法 不管是哪个级别的蜘蛛爬行的方法都是一样的，一共分为两种：1、深度优先；2

>>阅读原文<<