在深度学习中必须了解的信息论概念

在深度学习中必须了解的信息论概念 信息论是一个重要的领域，它对深度学习和人工智能做出了重大贡献，但不少人对此并不了解。信息论能够被看做是深度学习的基本组成部分：微积分、几率论和统计学的复杂融合。一些来自信息论或相关领域的人工智能概念的例子：web 经常使用的交叉熵损失函数 根据最大信息增益构建决策树 维特比算法普遍应用于NLP和语音 编码器-解码器的概念普遍用于机器翻译RNN和各类其余类型的模型

>>阅读原文<<