对于大数据的一些处理方法

问题：数据太大，在内存中无法一次性装入。 题1：给定一个大小超过100亿的文件，该文件是用来存储IP地址，找到出现次数最多的IP地址。 分析：100亿就是大约就是10G，对于现在的计算机而言，内存中无法容纳这么大的文件。 解决：将一个大文件切分为多个小文件，例如：我们可以将该100亿的大文件切分为1000个文件，即每个文件的大小大约就是10M，那么就可以在内存中容纳得下了。 那么，我们要怎么来切分

>>阅读原文<<