深度学习基础知识——信息论（自信息、信息熵与马尔科夫链）

信息论是在信息或不确定性可度量的前提下，研究有效、可靠、安全地传输信息的科学。 （【注】：符号约定：大写字母表示集合，小写字母表示集合中的事件） 1.前言 从常识来看，小概率事件的不确定性大，一旦出现必然使人感到意外，因此产生的信息量就大，特别是几乎不可能出现的事件一旦出现，必然产生极大的信息量；大概率事件是预料之中的事件，不确定性小，即使发生也没什么信息量，特别是概率为1的确定事件发生以后，不会

>>阅读原文<<