决策树：ID3算法与实现

信道模型和信息的含义 信息论是关于信息的本质和传输规律的理论。  信道模型：信源（发送端）-> 信道 -> 信宿（接收端）  1. 通讯过程是在随机干扰的环境汇中传递信息的过程  2. 信宿对于信源的先验不肯定性：在通讯前，信宿不能确切的了解信源的状态；  3. 信宿对于信源的后验不肯定性：在通讯后，因为存在干扰，信宿对于接收到的信息仍然具备不肯定性  4. 后验不肯定性老是要小于先验不肯定性的。

>>阅读原文<<