更高效的随机梯度降低(Incremental gradient descent)法的尝试

梯度降低法被用于求解局部最小值的基本方法,有几种形式:BGD(Batch gradient descent),SGD(Stochastic gradientdescent),MBGD(Mini-batch gradient descent)。另外还有一种更高效的方法牛顿法。牛顿法在提升效率上的代价,是在每一次迭代计算中要计算Cost Function的Heissian矩阵的逆矩,这对于数据量较大的
相关文章
相关标签/搜索