爬虫之URL去重

URL去重 我们在协爬虫时为什么需要进行URL去重？ 在爬虫启动工作的过程中，我们不希望同一个url地址被多次请求，因为重复请求不仅会浪费CPU，还会降低爬虫的效率，加大对方服务器的压力。而想要控制这种重复请求的问题，就要考虑请求所依据的url，只要能够控制待下载的URL不重复，基本可以解决同一个网页重复请求的问题。 对于已经抓取过的url，进行持久化，并且在启动的时候加载进入去重队列，是一个比较

>>阅读原文<<