pandas处理大数据的一些小技巧

大文本数据的读写 有时候咱们会拿到一些很大的文本文件，完整读入内存，读入的过程会很慢，甚至可能没法读入内存，或者能够读入内存，可是无法进行进一步的计算，这个时候若是咱们不是要进行很复杂的运算，可使用read_csv提供的chunksize或者iterator参数，来部分读入文件，处理完以后再经过to_csv的mode=’a’，将每部分结果逐步写入文件。python import pandas as

>>阅读原文<<