url去重方法和字符串编码

url去重方法1.将访问过的url保存到数据库中 应用简单,效率低 2.将访问过的url保存到set中,只需o(1)的代价就可以查询url 效率高,但是随着数据的增加,内存会出现占用过大。 100000000*2byte*50字符/1024/1024/1024=9G 3.url经过md5编码等方法哈希后保存到set中 固定编码,压缩url,节省了内存 4.用bitmap方法,将访问过的url通过h
相关文章
相关标签/搜索