深度学习笔记：交叉熵(cross-entropy)损失函数解决二次型带来的学习速率下降问题

我们都希望我们的神经网络能够根据误差来加快学习的速度。但实际是什么样的呢？让我们先来看一个例子： 这个网络只有一个神经元，一个输入一个输出： 我们训练这个网络做一个简单的任务，输入1，输出0.当然这种简单的任务我们可以不用任何学习算法就可以 手动算出权重值。但我们这次试用梯度下降法尝试获得权重值和偏置值，损失函数使用二次型函数。接下来 让我们看看这个神经元是怎么学习的。 首先，我选择输入x = 1

>>阅读原文<<