深度学习中超大规模数据集的处理

在机器学习项目中，若是使用的是比较小的数据集，数据集的处理上能够很是简单：加载每一个单独的图像，对其进行预处理，而后输送给神经网络。可是，对于大规模数据集(例如ImageNet)，咱们须要建立一次只访问一部分数据集的数据生成器(好比mini batch)，而后将小批量数据传递给网络。其实，这种方法在咱们以前的示例中也有所涉及，在使用数据加强技术提高模型泛化能力一文中，我就介绍了经过数据加强技术批量

>>阅读原文<<