神经网络softmax激活函数的求导过程

在使用softmax函数作为输出层激活函数的神经网络中，进行反向传播时需要计算损耗函数相对于Z的导数，即 。网上有很多公式推导，但都太“数学”化了，看着比较抽象。所以总结下自己理解的比较简单的推导过程。 首先，为了直观理解，我们假设Z为一个3x1的向量，通过soft max函数激活后的A也为3x1的向量。当Z的维度更大时，其实方法也都是一样，为了避免繁琐的表达式，这里进行了简化。 具体过程如下图，

>>阅读原文<<