交叉熵、相对熵及KL散度通俗理解

原文转载自http://blog.csdn.net/u012162613/article/details/44239919 本文是《Neural networks and deep learning》概览 中第三章的一部分，讲machine learning算法中用得很多的交叉熵代价函数。 1. 从方差代价函数说起 代价函数经常用方差代价函数（即采用均方误差MSE），比如对于一个神经元（单输入单输

>>阅读原文<<