Sigmoid，Softmax，Softmax loss，交叉熵(Cross entropy)，相对熵(relative entropy，KL散度)梳理

这些概念有点混，借此梳理记录一下。 sigmoid sigmoid函数是常用的二分类函数，函数形式为： 曲线形式如下： Sigmoid 是一个可微的有界函数，在各点均有非负的导数。当 x→∞ 时，S(x)→1；当 x→−∞ 时，S(x)→0。常用于二元分类（Binary Classification）问题，以及神经网络的激活函数（Activation Function）（把线性的输入转换为非线性的

>>阅读原文<<