海量数据处理

常用的几种方法： 1、分治法/Hash映射 + hash_map a、将海量数据通过Hash映射为若干的小文件； b、利用hash_map对每个小文件进行统计（key为数据内容，value为出现次数）；   2、Bloom Filter Bloom Filter是一种允许有少量错误的数据判重或者集合求交集的方法。 具体内容以及公式参考博客Bloom Filter 算法简介 (增加 Counting

>>阅读原文<<