交叉熵代价函数

问题描述：在使用sigmoid激活函数和方差代价函数的场景中，因为sigmoid的性质，导致σ'(z)在z取大部分值时会很小，如下图，导致w和b更新非常慢 是什么：     两个性质：1.非负性                      2.当真实输出a与期望输出y接近的时候，代价函数接近于0 为什么：     导数中没有σ'(z）这一项，权重的更新受σ(z）-y 影响，即受误差的影响。    

>>阅读原文<<