信息论
第一章 绪论
1.1 信息的概念
信息：消息中有意义的内容。
消息：指语言、文字和图像等。同一则信息可以用不同的消息形式来载荷。消息中包含信息，是信息的载荷者。消息是具体的，但它不是物理的。
信号：信号是消息的物理体现。为了在信道上传输消息，就必须把消息调制到具有某种物理特征的信号上去。比如电信号、光信号等。
通信系统的简单模型
系统的组成：
信源：产生一系列有待于传输的消息，并将消息转换成原始电信号。由于信源发出的消息符号具有随机性，可以用随机变量或随机矢量来描述信源的统计特性。
信道：传递消息的通道。由于噪声往往具有随机性，对传输信号的影响可用信道转移概率来描述。
信宿：接收消息的人或者机器。
香农信息的定义：
信息是事物运动状态或存在方式的不确定的描述。
通信的结果是消除或部分消除不确定性从而获得信息
互信息
先验概率
后验概率
信道转移概率
1.2 信息传输系统
信道传输系统模型
信源编码: 在一定的准则下，对信源的输出进行变换，以提高信息传输的有效性
信道编码: 对信源编码器的输出进行变换，以提高信息传输的可靠性
调制器: 将信道编码器的输出变换成适合于信道传输要求（带宽、频段等）的信号形式
1.3 信息论的研究内容
主要内容包括三个基本概念和三个编码定理
信源熵、信道容量和信息率失真函数
无失真信源编码定理、信道编码定理和限失真信源编码定理
1.4 香农信息论的形成和发展
第二章 离散信源及其信息度量
2.1 离散信源的分类
按照离散信源输出的是一个消息符号还是消息符号序列，可分为单符号离散信源和多符号离散信源。
按输出符号之间依赖关系分类，多符号离散信源可分为无记忆信源和有记忆信源。
按照信源输出的符号序列的统计特性是否随时间变化，多符号离散信源可分为平稳信源和非平稳信源。
离散信源的N次扩展信源：对信源输出的符号序列进行分组，每N个符号一组，只考虑组内各符号之间的关联性，而假定组与组之间是统计独立的；
马尔可夫信源：只考虑到信源发出的消息符号与前面有限个符号的依赖关系，不考虑与更前面发出符号的依赖关系，即用有限记忆源去近似实际信源。
2.2 离散信源的统计特性
信源输出的消息符号为时间离散，取值有限或可数的随机序列，此时信源就是离散信源
概率空间
2.3 离散随机变量的信息度量
自信息
平均自信息量
信息熵
性质
对称性
确定性
非负性
扩展性
递增性
上凸性
极值性
联合自信息
联合熵
2.4 离散信源变量的N次扩展信源
2.5 离散平原信源
2.6 马尔可夫信源
2.7 离散信源的相关性和剩余度
第三章 离散信道及其信道容量
3.1 离散信道的分类
3.2 离散信道的数学模型
3.3 离散随机变量的互信息和平均互信息
3.4 信道容量的定义
3.5 单符号离散信道及其信道容量
3.6 多符号离散信道及其信道容量
3.7 信源与信道的匹配
第四章 连续信源和连续信道
4.1 连续信源的分类和统计特性
4.2 连续随机变量的信息度量
4.3 连续信源的信息度量
4.4 连续信源的最大熵
4.5 连续信源熵的变换
4.6 连续信道和波形信道的分类
4.7 连续信道的平均互信息
4.8 连续信道的信道容量
4.9 波形信道的信道容量
第五章 无失真信源编码
5.1 信源编码的基本概念
5.2 无失真信源编码定理
5.3 常见的无失真信源编码方法
第六章 有噪信道编码
6.1 错误概率
6.2 有噪信道编码定理
6.3 联合信源信道编码定理
6.4 信道编码的基本概念
6.5 线性分组码
6.6 循环码
6.7 卷积码
6.8 交织码
6.9 级联码
6.10 Turbo码
6.11 LDPC码
第七章 限失真信源编码
7.1 失真测度
7.2 信息率失真函数
7.3 常见信源的R(D)函数
7.4 限失真信源编码定理
7.5 联合限失真信源信道编码定理
第八章 网络信息论初步
8.1 网络信源
8.2 网络信道
8.3 网络信源和网络信道的联合/分离
8.4 网络编码
8.5 协作通信
|