网络爬虫本质

  http://blog.csdn.net/hguisu/article/details/7949844 该做者其余文章也不错 html   通用搜索引擎的处理对象是互联网网页，目前网页数量以百亿计，搜索引擎的网络爬虫可以高效地将海量的网页数据传下载到本地，在本地 造成互联网网页的镜像备份。它是搜索引擎系统中很关键也很基础的构件。算法 1. 网络爬虫本质就是浏览器http请求。      浏览器

>>阅读原文<<