深度学习：网络优化之梯度下降

应用神经网络模型到机器学习时依然存在一些难点问题. 主要分为两大类： （1）优化问题：神经网络模型是一个非凸函数，很难进行优化。 （2）泛化问题：容易在训练集上产生过拟合。 因此，目前主要从优化和正则化两个方面来提高学习效率并得到一个好的网络模型。 网络优化的问题 高维变量的非凸优化 低维空间中非凸优化的主要难点是如何选择初始化参数和逃离局部最优点，但在高维而是如何逃离鞍点（Saddle Poin

>>阅读原文<<