Hinton Neural Networks课程笔记3b:线性神经元的误差曲面

引入了误差曲面(error surface)的概念;然后利用误差曲面,分析了简单梯度下降学习算法的一种不适用情况:未归一化。 误差曲面(error surface) 回忆学习感知机过程中应用的权重空间工具,误差曲面坐落的空间与权重空间很类似。误差(error/loss)函数在数据集确定的情况下可以看做是权重的函数,在权重空间的基础上加入误差维度,然后所有<权重,误差>点组成的曲面即为误差曲面。通常
相关文章
相关标签/搜索