机器学习面笔试-决策树篇

1. 决策树怎么做回归 让所有节点求平均值。 2. 熵、联合熵、条件熵、交叉熵、KL散度（相对熵），信息增益，互信息，信息增益率的计算 简介： 熵用于衡量不确定性，所以均分的时候熵最大 KL散度用于度量两个分布的不相似性，KL(p||q)等于交叉熵H(p,q)-熵H(p)。交叉熵可以看成是用q编码P所需的bit数，减去p本身需要的bit数，KL散度相当于用q编码p需要的额外bits。 交互信息Mu

>>阅读原文<<