【深度学习】优化算法

本文为深度学习的学习总结，讲解神经网络中的优化算法。欢迎交流 Mini-batch 梯度下降法 批量梯度下降：每次更新所有样本，每轮对于 θ \theta θ 的更新，所有样本都有贡献，计算得到的是标准梯度，对于凸问题，肯定能找到全局最优解。但每次更新幅度较大，样本很多时耗时太久。下面是更新公式： 随机梯度下降：每次更新时用 1 个样本，用 1 个样本来近似所有样本来调整 θ \theta θ，计

>>阅读原文<<