我理解的信息论——自信息、熵、互信息

转自：http://blog.csdn.net/qtlyx/article/details/50819094 信息论    信息是关于事物的运动状态和规律的认识，它可以脱离具体的事物而被摄取、传输、存贮、处理和变换。   信息论，就是用数理统计方法研究信息的基本性质以及度量方法，研究最佳解决信息的摄取、传输、存贮、处理和变换的一般规律的科学。它的成果将为人们广泛而有效地利用信息提供基本的技术方法和

>>阅读原文<<