4

1、根据链式法则，前馈神经网络在进行反向传播时，权值w的梯度为全局传过来的梯度乘以激活函数sigmoid对w的梯度： 对于第一层隐藏层的神经元来说,假设x都为正的,因为sigmoid 函数值域在（0， 1），则为正，则权重矩阵w的梯度只与有关，即权重矩阵w中所有元素的梯度只与有关，即矩阵w中的所有元素的梯度的正负是相同的，假设w的纬度为2，即[w1, w2], 则在每次的反向传播中，w1和w2的梯

>>阅读原文<<