海量数据处理

一、计算容量 1个整数占4byte，1亿个整数占4*10^8byte 大概为 400 MB； 二、拆分 可以将海量数据拆分到多台机器上和拆分到多个文件上： 如果数据量很大，无法放在一台机器上，就将数据拆分到多台机器上。这种方式可以让多台机器一起合作，从而使得问题的求解更加快速。但是也会导致系统更加复杂，而且需要考虑系统故障等问题； 如果在程序运行时无法直接加载一个大文件到内存中，就将大文件拆分成小

>>阅读原文<<