信息论（一）：概述

1. 什么是信息

1.1 在通讯中对信息的表达：

• 信息是指各个事物运动的状态及状态变化的方式。
• 消息是信息的载体。
• 信号是信息的物理表达。

信息具备普遍性和抽象性。

1.2 信息的重要性质

• 存在广泛性，有序性，相对性，可度量性，可扩充性，可储存、传输与携带，可压缩性，可替代性，可共享性，时效性。

1.3 香农信息——几率信息

信息是事物运动状态或存在方式的不肯定性描述。

2. 什么是信息论

信息论是专门研究信息的有效处理和可靠传输的通常规律的学科。

3. 信息论研究的对象、目的和内容

3.1 信息论研究的对象：通讯系统模型

• 信源：产生消息和消息序列的源。

• 编码器：将信源发出的消息变成适用于信道传达的信号。
  通常有信源编码器和信道编码器。

  • 信源编码器：信源压缩编码，提升信息传输效率。
  • 信道编码器：信道纠错编码，提升信息传输的可靠性。
• 信道：信号从甲地传到乙地的媒介或通道。
• 译码器：把编码信息（已叠加干扰）进行反变换，分为信源译码器和信道译码器。
• 信宿：消息传送的对象。

3.2 信息论研究的目的

提升信息传输的可靠性、有效性、保密性和认证性。

3.3 信息论研究的内容

• 狭义信息论——经典信息论
• 通常信息论——工程信息论
• 广义信息论