三、pytorch之感知机和MLP梯度推导

1.单层感知机 σ只有一个，其中。 求导过程： 2.多层感知机 ，其中 求导过程： 3.MLP反向传播 E对Wjk过程如第2点，略： E对Wij过程： ， 总结： 即，Wij与当前节点i的值和j到输出层的信息有关，以上式子内部都是已知的，然后通过反向传播求出E对所有层W的偏导数，进而求得各W的梯度，来更新W,不停的更新W。

>>阅读原文<<