初识爬虫

企业黄页：每个企业联系方式，主要业务等。 存在意义：找到所需信息 百度等：收集这些信息，以便用户搜索。而百度是自动24小时不间断爬取每个链接第相关信息，遇到一个链接再打开页面中的连接，拿到这个页面的简介，标题，链接等，叫外链。跳转到别的网页后再搜别的网页的关键字等。跳着跳转就永远停不下来，源源不断的查。蜘蛛网很多蚊子，把蜘蛛放到网上，最终把蚊子全吃了。目的是自动获取想要的信息，省去了人为的查找。

>>阅读原文<<