从 one-hot 到 softmax，再到交叉熵，技术一脉相承

1. one-hot 编码的来源 神经网络实际上可以看作传统逻辑电路的推广。逻辑电路里面的信号只有0，1两个结果，而神经网络里面的信号，利用 sigmoid 函数强制变换到 (0,1) 区间。 神经网络的二分类模型，第一层的每个神经元，都可以生成一个空间线性分割的判别式，经过 sigmoid 函数激活，变换到 (0,1) 区间。因此，第一层输出的 n 个节点，表示输入向量分别落入 n 个分割平面的

>>阅读原文<<