随机梯度下降,随机的含义

梯度下降法中,有3中不同的策略。分别是: (full) batch gradient descent = 批梯度下降,是指所有数据一次性全部喂给模型,然后用梯度下降法更新参数。这种策略的问题就是一次迭代的时间太长了,难得等。(是否存在随机的问题,也就是数据是否会打乱喂给模型,我还不清楚) mini-batch gradient descent = 小批梯度下降,是指把训练数据分成很多了mini-b
相关文章
相关标签/搜索