机器学习中Batch Size、Iteration和Epoch的概念

Batch Size：批尺寸。机器学习中参数更新的方法有三种：

（1）Batch Gradient Descent，批梯度降低，遍历所有数据集计算一次损失函数，进行一次参数更新，这样获得的方向可以更加准确的指向极值的方向，可是计算开销大，速度慢；

（2）Stochastic Gradient Descent，随机梯度降低，对每个样本计算一次损失函数，进行一次参数更新，优势是速度快，缺点是方向波动大，忽东忽西，不能准确的指向极值的方向，有时甚至两次更新相互抵消；

（3）Mini-batch Gradient Decent，小批梯度降低，前面两种方法的折中，把样本数据分为若干批，分批来计算损失函数和更新参数，这样方向比较稳定，计算开销也相对较小。Batch Size就是每一批的样本数量。

Iteration：迭代，能够理解为w和b的一次更新，就是一次Iteration。

Epoch：样本中的全部样本数据被计算一次就叫作一个Epoch。