目　录

第 1章　概论　1
1.1　信息的基本概念　1
1.1.1　信息的定义　1
1.1.2　信息的性质　2
1.2　信息论研究的对象和内容　2
1.2.1　信息论研究的对象　3
1.2.2　信息论的基本定义　3
1.2.3　信息论研究的内容　4
1.3　信息论的发展　5

第 2章　信源与信息熵　6
2.1　信源的数学模型及分类　6
2.2　离散信源熵和互信息　7
2.2.1　信息量　7
2.2.2　离散信源熵　9
2.2.3　互信息量　12
2.2.4　数据处理中信息的变化　15
2.3　信息熵的性质　15
2.3.1　非负性　15
2.3.2　确定性　15
2.3.3　对称性　16
2.3.4　可加性　16
2.3.5　极值性　16
2.3.6　**大熵定理　16
2.3.7　条件熵小于无条件熵　16
2.4　离散序列信源熵　18
2.4.1　离散无记忆信源的序列熵　18
2.4.2　离散有记忆信源的序列熵　19
2.4.3　马尔可夫信源及其极限熵　21
2.5　连续信源熵与互信息　28
2.5.1　连续信源的信源熵　28
2.5.2　**大熵定理　29
2.6　信源的冗余度　30
习题　32

第3章　信道与信道容量　37
3.1　信道的基本概念　37
3.1.1　信道的数学模型与分类　37
3.1.2　信道参数　41
3.1.3　信道容量的定义　47
3.2　离散信道的容量及其计算　49
3.2.1　无干扰离散信道　49
3.2.2　对称离散无记忆信道容量　50
3.2.3　准对称离散无记忆信道容量　51
3.2.4　一般离散无记忆信道容量　52
3.3　离散序列信道及其容量　55
3.4　独立并联信道及其容量　58
3.5　串联信道容量及数据处理定理　59
3.6　连续信道及其容量　63
3.6.1　连续单符号加性信道　63
3.6.2　多维无记忆加性连续信道　64
3.6.3　加性高斯白噪声信道的信道容量　66
3.7　信源与信道的匹配　68
习题　69

第4章　信息率失真函数　73
4.1　平均失真和信息率失真函数　73
4.1.1　失真函数　73
4.1.2　平均失真　75
4.1.3　信息率失真函数　75
4.2　信息率失真函数的性质　77
4.2.1　R(D)函数的定义域　78
4.2.2　R(D)函数的下凸性　79
4.2.3　R(D)函数的连续性　80
4.2.4　R(D)函数的单调递减性　80
4.3　离散信源的R(D)函数及其计算　81
4.4　连续信源的R(D)函数及其计算　88
4.4.1　幅度连续无记忆信源的R(D)函数　88
4.4.2　差值误差测量与香农界　90
4.4.3　带记忆的信源的R(D)函数　94
习题　94

第5章　信源编码　97
5.1　编码的定义　97
5.2　无失真信源编码　100
5.2.1　定长编码定理　101
5.2.2　变长编码定理　103
5.2.3　**佳变长编码　107
5.3　限失真信源编码定理　112
5.4　其他无失真信源编码方法　112
5.4.1　算术编码　112
5.4.2　游程长度编码　115
5.5　矢量量化编码　116
5.5.1　**佳标量量化编码　116
5.5.2　矢量量化编码　119
5.6　预测编码　121
5.6.1　线性预测编码的基本原理　122
5.6.2　**佳线性预测编码　123
5.7　变换编码　123
5.7.1　正交变换与正交矩阵　124
5.7.2　K-L变换　125
5.7.3　离散傅里叶变换　127
5.7.4　离散余弦变换　128
5.7.5　离散沃尔什-哈达玛变换　129
5.7.6　离散Haar变换　132
习题　133

第6章　信道编码定理　138
6.1　基础知识　138
6.1.1　译码准则　138
6.1.2　费诺不等式　141
6.1.3　 典型序列及其性质　142
6.2　信道编码定理　144
6.3　信源信道联合编码定理　145
习题　145

第7章　分组码　146
7.1　信道编码的基本概念　146
7.1.1　信道编码的作用与分类　146
7.1.2　纠错与检错原理　152
7.1.3　纠错与检错能力　153
7.2　线性分组码的基本数学理论　155
7.2.1　线性空间及其性质　155
7.2.2　生成矩阵　155
7.2.3　校验矩阵　156
7.2.4　对偶码和系统码　157
7.2.5　差错图样　158
7.3　线性分组码的译码　159
7.3.1　线性分组码的伴随式译码　159
7.3.2　标准阵列译码　160
7.4　汉明码及译码　161
7.4.1　汉明码编码　161
7.4.2　汉明码的伴随式译码　165
7.4.3　汉明码的主要性质　166
7.5　循环码(CRC)　167
7.5.1　循环码基础　167
7.5.2　循环码生成矩阵、生成多项式和监督矩阵　169
7.5.3　循环码的编、译码　172
7.6　BCH和RS编码以及译码　176
7.6.1　BCH码　176
7.6.2　RS码　181
7.7　线性分组码的应用　182
习题　183

第8章　卷积码　185
8.1　卷积码的基本概念　185
8.2　卷积码的编码　186
8.2.1　解析法中的码多项式法描述　187
8.2.2　矩阵生成法描述　188
8.2.3　离散卷积法描述　190
8.2.4　卷积码的图形描述法　193
8.3　卷积码的译码　197
8.3.1　卷积码的代数译码　197
8.3.2　Viterbi译码算法　202
8.3.3　序列译码　209
8.3.4　卷积码的生成函数　215
8.4　卷积码的类型　216
8.4.1　卷积码中的好码　216
8.4.2　几种类型的卷积码　218
8.5　卷积码的应用　220
8.5.1　交织编码　220
8.5.2　卷积码在移动通信中的应用　222
8.6　级联编码　225
习题　237

第9章　加密编码　239
9.1　加密编码的基础知识　239
9.1.1　密码学的发展概况　239
9.1.2　密码学的基本概念　240
9.2　几种古典密码　242
9.2.1　凯撒密码　243
9.2.2　密钥短语密码　244
9.2.3　维吉尼亚密码　244
9.3　数据加密标准　245
9.3.1　DES加密算法　245
9.3.2　DES的解密过程　250
9.3.3　DES的安全性　250
9.4　国际数据加密算法　251
9.5　RSA公钥密码　252
9.5.1　公钥密码的基本概念　253
9.5.2　RSA公钥密码体制　254
9.5.3　RSA的安全性　255
9.6　模拟信号加密　255
9.6.1　模拟置乱加密　256
9.6.2　数字化加密　258
习题　258

参考文献　260