海量数据实战（0）从两个文件50亿数据中找出相同的URL

问题：给定a、b两个文件，各存放50亿个url，每一个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？ios 目录：git Step 1 产生500亿 URL Step 2 将500亿URL大文件哈希为10000个小文件 Step 2.1 字符串哈希函数BKDRHash Step 2.2 获取文件大小 Step 2.3 获取某一目录下指定后缀的全部文件 Step 3 使用set

>>阅读原文<<