机器学习的数学基础 - 信息论

机器学习的数学基础 - 信息论   信息论 信息论本来是通信中的概念,但是其核心思想“熵”在机器学习中也得到了广泛的应用。比如决策树模型ID3,C4.5中是利用信息增益来划分特征而生成一颗决策树的,而信息增益就是基于这里所说的熵。所以它的重要性也是可想而知。    熵       联合熵       条件熵        相对熵       互信息         最大熵模型  
相关文章
相关标签/搜索