BatchSize 的选择

全批次（蓝色） 如果数据集比较小我们就采用全数据集。全数据集确定的方向能够更好地代表样本总体，从而更准确地朝向极值所在的方向。 注：对于大的数据集我们不能使用全批次，因为会得到更差的结果。 迷你批次（绿色） 选择一个适中的Batch_Size 值。就是说我们选定一个batch的大小后，将会以batch的大小将数据输入深度学习的网络中，然后计算这个batch的所有样本的平均损失，即代价函数是所有样本

>>阅读原文<<