杂谈——处理大量数据时候的一些思考

最近一直在和大数据打交道，今天看了会书，作个笔记。算法 1.访问所有数据时间过长sql 解决办法：循环读取部分数据，进行相应操做。数据库 2.数据难以放入内存 oop 解决办法：大数据 ①既然数据难以放入内存，那么咱们就将数据存储到磁盘上面，循环地去读磁盘，这里要考虑IO复杂性，毕竟访问外存的效率要比访问内存的效率低。优化 ②仅基于少数数据去进行计算。固然，这样获得的结果的准确率也会受到影响。sp

>>阅读原文<<