搜索引擎技术总结2-google原理总结

 google原理:crawler从urlserver得到域名列表,将搜索到的网页送入storeserver,压缩网页存入repository,并从网页中解析出一个新的url时则分配给此网页一docID.indexer读取repository,解压并解析文档,每一文档转换成一组具体值为hits的一组词。hits记录了该单词及在文档中的位置,字体大小等。indexer把这些hits分配到一组barrels中。
生成一个部分排序的正向索引,另外,indexer解析出在每一网页中的全部连接并把有关网页信息存储在anchors file中,这信息能够分辨每一连接的前因后果和连接文本。urlresolver读取末端文件并把相对url转换成绝对url以及docID.根据anchors file指向的docID对anchors file进行正向索引,同时生成一连接库存储docID,连接库用于进行对全部文档的pagerank.
sorter提取barrels(以docID排序),据wordID从新排序,生成倒排索引,此过程在barrel中进行,以便少占用临时空间。sorter把WordID和偏移量(在barrel中的偏移?)列表放入倒序索引,dumplexicon将此列表与indexer生成的lexicon合并,生成新的lexicon供searcher使用。searcher运用lexicon和倒排索引及pagerank响应搜索请求。
google架构图:架构