【机器学习】一文理清信息熵，相对熵，交叉熵

初学者在搞清楚这个三个信息论的大怪兽时，往往会晕头转向。本文将简要的对这三个概念进行理清，文章尽量通俗，有不对的地方恳请斧正。 信息熵： 香农提出信息熵主要是用来解决对信息的量化度量问题，比如说存在选项【A,B,C,D】，若每个字母都用8位Ascii码存储，则表示这个四个选项需要32位bit。 如果此时采用二进制的话，4个选项用2位bit便可表示【00,01,10,11】。于是对4个选项信息进行量

>>阅读原文<<