搜索引擎工做原理

搜索引擎的工做步骤能够分为如下四步：爬行和抓取->创建索引->搜索词处理->排序

1. 爬行和抓取

　　搜索引擎派出一个可以在网上发现新网页并抓文件的程序，这个程序一般称之为蜘蛛（Spider）。搜索引擎从已知的数据库出发，就像正经常使用户的浏览器同样访问这些网页并抓取文件。搜索引擎经过这些爬虫去爬互联网上的外链，从这个网站爬到另外一个网站，去跟踪网页中的连接，访问更多的网页，这个过程就叫爬行。这些新的网址会被存入数据库等待搜索。因此跟踪网页连接是搜索引擎蜘蛛（Spider）发现新网址的最基本的方法，因此反向连接成为搜索引擎优化的最基本因素之一。搜索引擎抓取的页面文件与用户浏览器获得的彻底同样，抓取的文件存入数据库。

　　蜘蛛抓取网页策略1：深度优先

　　什么是深度优先？简单的说，就是搜索引擎蜘蛛在一个页面发现一个链接而后顺着这个链接爬下去，而后在下一个页面又发现一个链接，而后就又爬下去而且所有抓取，这就是深度优先抓取策略。你们看下图

在上图中就是深度优先的示意图，咱们假如网页A在搜索引擎中的权威度是最高的，假如D网页的权威是最低的，若是说搜索引擎蜘蛛按照深度优先的策略来抓取网页，那么就会反过来了，就是D网页的权威度变为最高，这就是深度优先！

　　蜘蛛抓取网页策略2：宽度优先

　　宽度优先比较好理解，就是搜索引擎蜘蛛先把整个页面的连接所有抓取一次，而后在抓取下一个页面的所有连接。

上图呢，就是宽度优先的示意图！这其实也就是你们平时所说的扁平化结构，你们或许在某个神秘的角落看到一篇文章，告诫你们，网页的层度不能太多，若是太多会致使收录很难，这就是来对付搜索引擎蜘蛛的宽度优先策略，其实就是这个缘由。

　　蜘蛛抓取网页策略3：权重优先　　

　　若是说宽度优先比深度优先好，其实也不是绝对的，只能说是各有各的好处，如今搜索引擎蜘蛛通常都是两种抓取策略一块儿用，也就是深度优先+宽度优先，而且在使用这两种策略抓取的时候，要参照这条链接的权重，若是说这条链接的权重还不错，那么就采用深度优先，若是说这条链接的权重很低，那么就采用宽度优先！

　　那么搜索引擎蜘蛛怎样知道这条链接的权重呢？

　　这里有2个因素：一、层次的多与少；二、这个链接的外链多少与质量；

　　那么若是层级太多的连接是否是就不会被抓取呢？这也不是绝对的，这里边要考虑许多因素，咱们在后边的进阶中会降到逻辑策略，到时候我在详细的给你们说！

　　蜘蛛抓取网页策略4：重访抓取

　　我想这个比较好理解，就是好比昨天搜索引擎的蜘蛛来抓取了咱们的网页，而今天咱们在这个网页又加了新的内容，那么搜索引擎蜘蛛今天就又来抓取新的内容，这就是重访抓取！重访抓取也分为两个，以下：

　　一、所有重访

　　所谓所有重访指的是蜘蛛上次抓取的连接，而后在这一个月的某一天，所有从新去访问抓取一次！

　　二、单个重访

　　单个重访通常都是针对某个页面更新的频率比较快比较稳定的页面，若是说咱们有一个页面，1个月也不更新一次。

那么搜索引擎蜘蛛第一天来了你是这个样子，次日，仍是这个样子，那么第三天搜索引擎蜘蛛就不会来了，会隔一段时间在来一次，好比隔1个月在来一次，或者等所有重访的时候在更新一次。

 

2. 创建索引

　　创建索引分两步：数据分析与数据索引　　

　　数据分析

　　数据分析系统，是处理搜索引擎蜘蛛抓取回来的网页，那么数据分析这一块又分为了一下几个：

　　一、网页结构化

　　简单的说，就是把那些html代码所有删掉，提取出内容。

　　二、消噪

　　消噪是什么意思呢？在网页结构化中，已经删掉了html代码，剩下了文字，那么消噪指的就是留下网页的主题内容，删掉没用的内容，好比版权！

　　三、查重

　　查重比较好理解，就是搜索引擎查找重复的网页与内容，若是找到重复的页面，就删除。

　　四、分词

　　分词是神马东西呢？就是搜索引擎蜘蛛在进行了前面的步骤，而后提取出正文的内容，而后把咱们的内容分红N个词语，而后排列出来，存入索引库！同时也会计算这一个词在这个页面出现了多少次。

　　五、连接分析

　　这一个步骤就是咱们平时所作的作烦躁的工做，搜索引擎会查询，这个页面的反向连接有多少，导出连接有多少以及内链，而后给这个页面多少的权重等。

　　蜘蛛抓取的页面文件分解、分析，并以巨大表格的形式存入数据库，这个过程便是索引（index).在索引数据库中，网页文字内容，关键词出现的位置、字体、颜色、加粗、斜体等相关信息都有相应记录。

 

3. 搜索词处理

　用户在搜索引擎界面输入关键词，单击“搜索”按钮后，搜索引擎程序即对搜索进行处理，如中文特有的分词处理，去除中止词，判断是否须要启动整合搜索，判断是否有拼写错误或错别字等状况。搜索词的处理必须十分快速。

 

4. 排序

　　对搜索词处理后，搜索引擎程序便开始工做，从索引数据库中找出全部包含搜索词的网页，而且根据排名算法计算出哪些网页应该排在前面，而后按照必定格式返回到“搜索”页面。

　　谷歌用的是Page Rank算法。

 

参考内容：

　　1. http://baike.baidu.com/view/3492159.htm

　　2. http://www.chinaz.com/web/2012/0221/236263.shtml