深度学习笔记:交叉熵(cross-entropy)损失函数解决二次型带来的学习速率下降问题

我们都希望我们的神经网络能够根据误差来加快学习的速度。但实际是什么样的呢?让我们先来看一个例子: 这个网络只有一个神经元,一个输入一个输出: 我们训练这个网络做一个简单的任务,输入1,输出0.当然这种简单的任务我们可以不用任何学习算法就可以 手动算出权重值。但我们这次试用梯度下降法尝试获得权重值和偏置值,损失函数使用二次型函数。接下来 让我们看看这个神经元是怎么学习的。 首先,我选择输入x = 1
相关文章
相关标签/搜索