学习笔记:学习率和术语解释

详细了解理想的学习速率。 一维空间中的理想学习速率是 1f(x)″(f(x) 对 x 的二阶导数的倒数)。 二维或多维空间中的理想学习速率是海森矩阵(由二阶偏导数组成的矩阵)的倒数。 广义凸函数的情况则更为复杂。 学习率的优化: 学习率为0.1 的情况 学习率为1的情况 练习 2 您可以使用更高的学习速率更快地到达最低点吗?将学习速率设为 1,然后不断按“STEP”(步)按钮,直到梯度下降法到达最
相关文章
相关标签/搜索