深度学习（一） cross-entropy和sofrmax

Cross-entropy 神经网络的学习行为和人脑差的很多, 开始学习很慢, 后来逐渐增快 为什么? 学习慢 => 偏导数 ∂C/∂w 和 ∂C/∂b 值小 回顾之前学习的Cost函数: 回顾sigmoid函数: 当神经元的输出接近1或0时，曲线很平缓，因而会使偏导数 ∂C/∂w 和 ∂C/∂b 值小,致使学习很慢 如何增快学习？ 为此神经网络引入交叉熵代价函数cross-entropy函数 弥

>>阅读原文<<