交叉熵（cross-entropy）损失函数求导过程推导

交叉熵（cross-entropy）损失函数求导过程推导 1. 什么是交叉熵？ 1.1 熵 1.2 KL散度 1.3 交叉熵 2. 关于softmax函数 3. 推导过程 3.1 关于softmax的求导 3.2 关于cross-entropy的求导   今天，师兄突然问我关于交叉熵求导的问题，分分钟被难住了，感慨自己读研一年多了，连这种基本问题都不懂。在师兄的帮助下，从头到尾推导了一遍， 决定写

>>阅读原文<<