初识爬虫之爬虫概述篇

爬虫概述 我们可以把互联网比作一张大网，而爬虫（即网络爬虫）便是在网上爬行的蜘蛛。 把网的节点比作一个个网页，爬虫爬到这就相当于访问了该页面，获取了其信息 。 可以把节点间的连线比作网页与网页之间的链接关系，这样蜘蛛通过一个节点后，可以顺着节点连线继续爬行到达下一个节点，即通过一个网页继续获取后续的网页，这样整个网的节点便可以被蜘蛛全部爬行到，网站的数据就可以被抓取下来了 。 获取网页 爬虫首先要

>>阅读原文<<