[机器学习] 常见优化方法：梯度下降/牛顿法/拟牛顿法/共轭梯度法

问题的形式化 神经网络的学习过程可以形式化为最小化损失函数问题，该损失函数一般是由训练误差和正则项组成。误差项会衡量神经网络拟合数据集的好坏，也就是拟合数据产生的误差。正则项主要是通过给特征权重增加惩罚项而控制神经网络的有效复杂度，这样可以有效地控制过拟合问题。 训练损失函数取决于神经网络中的自适应参数（偏置项和权重），我们很容易地将神经网络的权重重组合成一个n维权重向量w，而训练损失就是以这些权

>>阅读原文<<