神经网络中损失函数解析笔记

一、二次损失函数        公式：        其中，C表示代价函数，x表示样本，y表示实际值，a表示输出值，n表示样本的总数好，（L是代表什么，我也不知道，但这不重要）。 重点：假如我们使用梯度下降法来调整权值参数的大小，权值w和偏置b的梯度推导公式： 其中，z表示神经元的输入，σ表示激活函数。w和b的梯度跟激活函数的梯度成正比，激活函数的 梯度越大，w和b的大小调整得越快，训练收敛得就越

>>阅读原文<<