从GCN中学习的信息熵

之前在GCN中碰到的交叉熵损失函数是分类问题中经常使用的一种损失函数，对于其内部原理感觉没有完全懂，今天来深入理解一下。 交叉熵简介 交叉熵 ：信息论中的一个重要概念，主要用于度量两个概率分布间的差异性 信息是用来消除随机不确定性的东西”，衡量信息量的大小就是看这个信息消除不确定性的程度。 “太阳东升西落”，这条信息并没有减少不确定性，因为太阳肯定是从东边升起西边落下，这是一句人人都知道的话，信息

>>阅读原文<<