深度学习中的优化器

介绍一些深度学习的优化器 参考覃秉丰教程 梯度下降法则 标准梯度下降法：计算所有样本汇总误差，根据总误差来更新权值 随机梯度下降法：先随机抽取一个样本来计算误差，再根据这个误差来更新权值 批量梯度下降法：从总样本中选取一个批次（batch）（例如10000个样本，随机选取1中的100个样本作为batch），然后计算这个batch的总误差，再根据这个误差来更新权值 随机梯度下降法： 带Momentu

>>阅读原文<<