Dataframe优化内存（转）

Pandas】Pandas处理大数据集的方法（内存优化，减少内存使用量90%） 将内存使用量减少高达90％的方法 当使用具有小数据（小于100兆字节）的pandas时，性能很少成为问题。当我们迁移到更大的数据（100兆字节到几千兆字节）时，性能问题会使运行时间更长，并导致代码因内存不足而完全失败。 虽然像Spark这样的工具可以处理大型数据集（100千兆字节到多兆兆字节），但充分利用它们的功能通常

>>阅读原文<<