Batch梯度降低

一、以前讲到随机梯度降低法(SGD),若是每次将batch个样本输入给模型,并更新一次,那么就成了batch梯度降低了。算法

二、batch梯度降低显然可以提升算法效率,同时相对于一个样本,batch个样本更能体现样本的整体分布。效率

三、可是也不是batch越大越好,容易陷入鞍点(横看最小,侧看最大);batch小的话增长了随机性,不容易陷入鞍点。bat

相关文章
相关标签/搜索