优化算法

使用优化算法可以加快神经网络的训练过程。 Mini-batch 使用所有训练集进行一次梯度下降的方法叫做Batch梯度下降法。当训练集数量非常巨大时,Batch梯度下降法就变慢了,这时可以使用Mini-batch梯度下降法,Mini-batch梯度下降法比Batch梯度下降法快。 Mini-batch梯度下降法把训练集平均分成T个子集 {(X{1},Y{1}),(X{2},Y{2}),⋯,(X{T
相关文章
相关标签/搜索