交叉熵误差(cross entropy error)

熵真是一个神奇的东西,据说之所以把它命名为熵就是因为它难以理解 但是它确实是一个很有用的西东,光机器学习里面,就经常见到它的身影,决策树要用到它,神经网络和logistic回归也用到了它。 先说熵的定义: 熵定义为信息的期望,某个待分类事物可以划分为多个类别,其中类别的信息为(为的概率): 熵为所有类别的信息期望值: 交叉熵误差: 为实际的分类结果, 为预测的结果,( 并且   )   这个函数被
相关文章
相关标签/搜索