基于梯度下降法的置信域法和阻尼法

在神经网络中，训练函数是重要组成部分，也是较为复杂的概念。对于什么问题，什么样的数据模型，该用什么样的训练函数对训练后的结果起着至关重要的作用。常用的训练函数有：1.梯度下降法；2.有动量的梯度下降法；3.拟牛顿法；4.列文伯格-马奎特算法。 对于非线性的优化这些方法都是通过迭代来进行的，从初始起点x0逐渐逼近满足条件的点x*。大多数的训练函数都需要满足以下的下降条件： 我们假设函数F在定义域内是

>>阅读原文<<