1.寻找最小Loss—梯度下降(Gradient Descent)算法原理

Gradient Descent 梯度下降 随机选取初始点w0,计算该点处的微分(切线斜率),如果切线斜率为负值,说明该点处loss高于最小loss值,那么就要取一个比w0大的w值;如果切线斜率为正值,也说明该点处loss高于最小loss值 ,那么就要取一个比w0小的w值。 而w0增加多少是取决于-(learning rate * 该点处的微分值),(因为该点处的微分值与w0的增加减少是相反的,所
相关文章
相关标签/搜索