用于Multinoulli（多项分布）输出分布的softmax单元

单独拿一篇文章出来讲softmax单元是因为昨天去鹅厂面试，被要求给softmax求导，这么简单的事情，我竟然没有做到，所以只好以文铭志了。 话不多说。 任何时候，当我们想要表示一个具有n个可能取值的离散型随机变量的分布时，都可以使用softmax函数。它可以看作sigmoid函数的扩展，sigmoid函数用来表示二值型变量的分布。 softmax函数的形式如下： 当使用最大化对数似然训练soft

>>阅读原文<<