使用python读取大文件

在用python作机器学习的时候，有时候训练或测试数据特别大，一个文件就有几个G,如何高效读取，不使机器内存爆炸呢，以我本身的工做经从来说，读取一个特别大的二进制文件来作测试，有几个G的大小，但每次只测batch size =100个样本。这样能够使用迭代器：python import numpy as np #咱们读的是保存浮点数的二进制文件 test_data.dat ,由连续的1+500=l

>>阅读原文<<