梯度下降与提升性能的方法

文章来自李宏毅教授课程所做笔记 梯度下降法 在回归问题的第三步中，需要解决下面的最优化问题： L:lossfunction（损失函数） θ:parameters（参数） 这里的parameters是复数，即θ 指代一堆参数。我们要找一组参数 θ ，让损失函数越小越好，这个问题可以用梯度下降法解决 。 首先假设θ里面有两个参数θ1​,θ2​ 分别随机取值 同时，我们令 那么，梯度下降法可以表示为 即

>>阅读原文<<