url去重方法和字符串编码

url去重方法1.将访问过的url保存到数据库中 应用简单，效率低 2.将访问过的url保存到set中，只需o（1）的代价就可以查询url 效率高，但是随着数据的增加，内存会出现占用过大。 100000000*2byte*50字符/1024/1024/1024=9G 3.url经过md5编码等方法哈希后保存到set中 固定编码，压缩url，节省了内存 4.用bitmap方法，将访问过的url通过h

>>阅读原文<<