自然语言处理基础之信息熵，交叉熵，相对熵

本文主要介绍信息论基本相关知识，这些知识在机器学习中的相关算法的基础，是学习机器学习及深度学习的基础知识。本文具体介绍信息熵、交叉熵及相对熵，需要深入了解信息论知识，请参考《信息论基础》。 1）信息熵（Information Entropy）        信息熵来源于克劳德·爱尔伍德·香农的信息论，在介绍信息熵之前，我们先来了解信息量的概念。        人类交流可以理解信息的交流。你接收的任

>>阅读原文<<