9.6 搜索引擎

得到最广泛使用的 Web 机器人都是因特网搜索引擎。 Web 爬虫为因特网搜索引擎提供信息，它们获取 Web 上的文档，并允许搜索引擎创索引，用以说明哪些文档中有哪些词存在。搜索引擎是 Web 机器人的主要来源——让我们来快速了解一下它们是如何工作的。 1. 大格局 现在，Web 上有数十亿可供访问的页面，搜索引擎已经成为因特网用户查找信息不可缺少的工具。 面对数十亿的 Web 页面，和数百万要查

>>阅读原文<<