反向传播算法的公式推导（BP算法）

  假设训练的样本集包含m个样例，因为此时对于单个样本我们将神经网络的代价函数定义为：   其中hW,b(x)为输入数据x经过神经网络前向传播得到的输出结果，y为期望值。   所以对于这个包含m个样本集的数据集而言，整体的代价函数应为：   上式关于J(W,b)定义中的第一项是一个均方差项。第二项是一个权重衰减项，其目的是减小权重的幅度，防止过度拟合。nl 表示神经网络的层数。sl表示第 l 层神

>>阅读原文<<