梯度降低及其优化算法综述

优化神经网络的模型参数时，梯度降低（Gradient Descent）是最常采用的方法之一，本文旨在让读者对梯度降低及其优化版本的算法有直观的认识。首先介绍梯度降低的三种变体（BGD，SGD，MBGD），总结三者在训练的过程当中所面临的挑战，进而介绍经常使用的改进算法，包括这些算法在解决以上挑战时的动机以及导形式。算法 梯度降低（GD） 梯度降低算法（Gradient Descent Optimi

>>阅读原文<<