决策树ID3算法及实现

0. 信息论 信道模型和信息的含义 信息论是关于信息的本质和传输规律的理论。 信道模型：信源（发送端）-> 信道 -> 信宿（接收端） 1. 通讯过程是在随机干扰的环境汇中传递信息的过程 2. 信宿对于信源的先验不肯定性：在通讯前，信宿不能确切的了解信源的状态； 3. 信宿对于信源的后验不肯定性：在通讯后，因为存在干扰，信宿对于接收到的信息仍然具备不肯定性 4. 后验不肯定性老是要小于先验不肯定性

>>阅读原文<<