CS231n学习记录Lec4 Optimization优化

Lec4 Optimization优化 1. 梯度下降算法Gradient Decent 梯度是指向函数的最大 增长 方向,而我们的目标是沿着损失函数最小的方向调整参数 w w ,所以梯度为正时要沿梯度的反方向调整一小步,然后不断重复进行参数更新。 这里的step_size即为学习率,是一个超参数。 实践考量:注意在数学公式中,h的取值是趋近于0的,然而在实际中,用一个很小的数值(比如例子中的1e
相关文章
相关标签/搜索