爬虫去重思路

爬虫中什么业务需要使用去重 1 防止发出重复的请求 2 防止存储重复的数据 去重实现的基本原理 根据给定的判断依据和给定的去重容器，将原始数据逐一进行判断，判断去重容器中是否有该数据。如果没有就将该数据对应的判断依据加入去重容器中，同时标记该数据不是重复数据。否则不添加同时标记该数据为重复数据。 判断依据： （原始数据，原始数据特征值） 去重容器： （存储判断依据） 根据原始数据进行去重判断 根据

>>阅读原文<<