教你编写简单的网络爬虫

1、网络爬虫的基本知识html 网络爬虫经过遍历互联网络，把网络中的相关网页所有抓取过来，这体现了爬的概念。爬虫如何遍历网络呢，互联网能够看作是一张大图，每一个页面看作其中的一个节点，页面的链接看作是有向边。图的遍历方式分为宽度遍历和深度遍历，可是深度遍历可能会在深度上过深的遍历或者陷入黑洞。因此，大多数爬虫不采用这种形式。另外一方面，爬虫在按照宽度优先遍历的方式时候，会给待遍历的网页赋予必定优先

>>阅读原文<<