梯度降低(Gradient Descent)小结

    在求解机器学习算法的模型参数,即无约束优化问题时,梯度降低(Gradient Descent)是最常采用的方法之一,另外一种经常使用的方法是最小二乘法。这里就对梯度降低法作一个完整的总结。算法 1. 梯度     在微积分里面,对多元函数的参数求∂偏导数,把求得的各个参数的偏导数以向量的形式写出来,就是梯度。好比函数f(x,y), 分别对x,y求偏导数,求得的梯度向量就是(∂f/∂x, ∂
相关文章
相关标签/搜索