网络爬虫过程中5种网页去重方法简要介绍

一般的，我们想抓取一个网站所有的URL，首先通过起始URL，之后通过网络爬虫提取出该网页中所有的URL链接，之后再对提取出来的每个URL进行爬取，提取出各个网页中的新一轮URL，以此类推。整体的感觉就是自上而下进行抓取网页中的链接，理论上来看，可以抓取整站所有的链接。但是问题来了，一个网站中网页的链接是有环路的。 举个栗子，在网站首页中我们可以看到首页这个链接，之后我们在子网页中也有可能会看到有个

>>阅读原文<<