【python 处理亿级数据】使用 Pandas 处理亿级数据

此前有一篇文章《别老扯什么Hadoop了，你的数据根本不够大》指出：只有在超过5TB数据量的规模下，Hadoop才是一个合理的技术选择。事实确实如此，在数据分析领域，那么如何处理亿级数据呢，pandas提供了IO工具能够将大文件分块读取，测试了一下性能,很是不错。可谓是瑞士中的军刀python python 读取亿级数据代码以下：web # encoding: utf-8 import sys r

>>阅读原文<<