BP神经网络小结

1、逻辑回归      理解逻辑回归是理解BP神经网络的关键，逻辑回归相当于是BP神经网络的最后一层，也就是输出层（BP神经网络用于二分类问题）。下面给出逻辑回归的简单推导过程： 公式中已经默认Z=WX+b，损失函数使用交叉熵损失函数 修正：W导数中的X应该增加转置 上面推导假设一次训练一个样本，如果训练多个样本，最后公式略有不同。由于求导、链式法则的应用都是Element-Wise的，所以求导推

>>阅读原文<<