目　录

第 1章　绪论　1

第 2章　离散信息的度量　4
2.1　知识要点　4
2.1.1　自信息和互信息　4
2.1.2　信息熵　6
2.1.3　平均互信息　9
2.2　例题精解　10
2.3　习题解答　15
2.4　补充题解　24

第3章　离散信源　32
3.1　知识要点　32
3.1.1　离散信源的分类与数学模型　32
3.1.2　离散无记忆信源的熵　33
3.1.3　离散平稳信源的熵　33
3.1.4　有限状态马尔可夫链　34
3.1.5　马尔可夫信源　35
3.1.6　信源的相关性与剩余度　35
3.2　例题精解　36
3.3　习题解答　40
3.4　补充题解　53

第4章　连续信息与连续信源　58
4.1　知识要点　58
4.1.1　连续随机变量集合的熵　58
4.1.2　离散时间高斯信源的熵　60
4.1.3　连续**大熵定理　60
4.1.4　连续随机变量集的平均互信息　60
4.1.5　离散集与连续集之间的互信息　61
4.2　例题精解　61
4.3　习题解答　68
4.4　补充题解　73

第5章　无失真信源编码　79
5.1　知识要点　79
5.1.1　基本概念　79
5.1.2　定长码　80
5.1.3　变长码　81
5.1.4　哈夫曼编码　82
5.1.5　几种实用的编码方法　83
5.2　例题精解　83
5.3　习题解答　88
5.4　补充题解　96

第6章　离散信道及其容量　100
6.1　知识要点　100
6.1.1　基本概念　100
6.1.2　单符号离散信道及其容量　101
6.1.3　级联信道及其容量　102
6.1.4　多维矢量信道及其容量　103
6.2　例题精解　105
6.3　习题解答　111
6.4　补充题解　119

第7章　有噪信道编码　123
7.1　知识要点　123
7.1.1　基本概念　123
7.1.2　**佳判决与译码准则　124
7.1.3　信道编码与**佳译码　125
7.1.4　费诺不等式　125
7.1.5　有噪信道编码定理　125
7.1.6　纠错编码技术简介　126
7.1.7　信道编码性能界限　127
7.2　例题精解　127
7.3　习题解答　133
7.4　补充题解　146

第8章　波形信道　149
8.1　知识要点　149
8.1.1　离散时间连续信道　149
8.1.2　加性噪声信道与容量　150
8.1.3　AWGN信道的容量　151
8.1.4　有色高斯噪声信道　152
8.1.5　数字调制系统的信道容量　153
8.2　例题精解　153
8.3　习题解答　158
8.4　补充题解　166

第9章　信息率失真函数　170
9.1　知识要点　170
9.1.1　基本概念　170
9.1.2　离散信源信息率失真函数　171
9.1.3　限失真信源编码定理　171
9.1.4　离散信源信息率失真函数的计算　171
9.1.5　连续信源信息率失真函数　172
9.1.6　重要的R(D)函数　172
9.1.7　一般连续信源R(D)函数　173
9.2　例题精解　173
9.3　习题解答　179
9.4　补充题解　189

第 10章　有约束信道及其编码　194
10.1　知识要点　194
10.1.1　标号图的性质　194
10.1.2　有约束信道容量　195
10.1.3　有约束序列的性质　196
10.1.4　有约束信道编码定理　197
10.1.5　有约束序列编码与应用　198
10.2　例题精解　199
10.3　习题解答　201

第 11章　网络信息论初步　210
11.1　知识要点　210
11.1.1　基本概念　210
11.1.2　多址接入信道　211
11.1.3　广播信道　212
11.1.4　相关信源编码　212
11.2　习题解答　213
11.3　补充题解　217

第 12章　信息理论方法及其应用　219
12.1　知识要点　219
12.1.1　离散信源熵的估计　219
12.1.2　**大熵原理　219
12.1.3　**小交叉熵原理　221
12.1.4　信息理论方法的应用　222
12.2　例题精解　222
12.3　习题解答　224

期末考试模拟试题　234
期末考试模拟试题标准答案　236

参考文献　242