softmax做激活函数，crossentropy做损失函数时softmax的求导问题

首先crossentropy的定义为 softmax的直观定义（摘于李宏毅教授主页http://speech.ee.ntu.edu.tw/~tlkagk/courses.html） softmax它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！以手写数字图像识别为例。softmax输出的是一个十维的vector，比如待识别的数字是2，则我们希望的是在索引为2处的

>>阅读原文<<