目　录

第 1章　绪论　1
1.1　信息的概念　1
1.1.1　信息概念的复杂性　1
1.1.2　信息的定义　3
1.2　信息论的主要研究内容　4
1.3　信息论的发展历程　7
习题　10

第 2章　信息的度量　11
2.1　信源模型　11
2.2　(概率)信息的描述　13
2.3　不确定性与信息　14
2.3.1　自信息量　14
2.3.2　联合自信息量　15
2.3.3　条件自信息量　16
2.3.4　自信息量的性质和相互关系　17
2.3.5　互信息量及其性质　19
2.4　离散随机变量的(统计)平均不确定性——离散熵　22
2.4.1　离散熵　22
2.4.2　离散熵的性质　24
2.5　联合熵和条件熵　26
2.5.1　联合熵　27
2.5.2　条件熵　27
2.5.3　各类熵之间的关系　28
2.6　平均互信息量及其性质　29
2.7　离散无记忆信源的扩展　31
2.8　离散平稳信源的熵　32
2.9　马尔可夫信源的信息熵　33
2.9.1　马尔可夫链　33
2.9.2　马尔可夫信源　35
2.9.3　马尔可夫信源的信息熵　37
2.10　离散信源的信息(速)率和信息含量效率　38
2.11　连续随机变量下的熵和平均互信息量　39
2.11.1　连续随机变量的熵　39
2.11.2　连续随机变量下的联合熵、条件　熵以及平均互信息量　42
2.11.3　微分熵的极大化问题　43
2.11.4　连续信源的熵功率　46
本章基本概念　46
习题　49

第3章　信道模型和信道容量　55
3.1　信道模型与信道分类　55
3.2　离散无记忆信道的数学模型　56
3.3　概率的计算问题　58
3.4　信道的疑义度、散布度和平均互信息　60
3.4.1　信道的疑义度　60
3.4.2　信道的散布度　61
3.4.3　信道的平均互信息　63
3.5　信道容量C　66
3.5.1　信道容量的定义　66
3.5.2　离散无噪信道的信道容量　67
3.5.3　离散对称信道　71
3.5.4　一般DMC达到信道容量的充要条件　76
3.5.5　信道容量的迭代算法　80
3.6　扩展信道及其信道容量　81
3.6.1　扩展信道的数学模型　82
3.6.2　扩展信道的平均互信息量和信道容量　83
3.7　信道的组合　85
3.7.1　串联信道　85
3.7.2　独立并联信道　87
3.8　信源与信道的匹配　87
3.9　连续信道及其信道容量　88
3.9.1　连续信道的数学模型　88
3.9.2　加性高斯噪声信道的信道容量　89
3.9.3　一般加性噪声信道的信道容量的界　92
3.10　波形信道及其信道容量　93
本章基本概念　96
习题　100

第4章　离散无记忆信源无失真编码　104
4.1　信源编码概论　105
4.2　码的唯一可译性　107
4.2.1　常见码及其唯一可译性　107
4.2.2　码树和Kraft不等式　108
4.3　定长编码　110
4.3.1　离散无记忆信源的渐近均分性质　110
4.3.2　定长编码定理　113
4.4　变长编码定理　116
4.5　变长编码方法　117
4.5.1　霍夫曼编码　118
4.5.2　费诺编码　123
4.5.3　香农编码　124
4.6　几种实用的无失真信源编码　125
4.6.1　游程编码　125
4.6.2　算术编码　129
4.6.3　基于字典的编码　132
本章基本概念　134
习题　135

第5章　有噪信道编码　138
5.1　译码规则与错误概率　138
5.2　两种典型的译码规则　140
5.3　平均差错率与信道编码　143
5.3.1　“简单重复”编码　144
5.3.2　对符号串编码　145
5.4　汉明距离与**小距离译码规则　148
5.5　有噪信道编码定理　150
5.5.1　联合典型序列　150
5.5.2　有噪信道编码定理　152
5.6　Fano不等式和有噪信道编码逆定理　153
5.7　线性分组码　155
5.7.1　线性分组码的生成矩阵和校验矩阵　156
5.7.2　汉明距离和码的纠错、检错能力　158
5.7.3　线性码的伴随式与伴随式译码　160
本章基本概念　161
习题　162

第6章　限失真信源编码　165
6.1　失真测度　165
6.2　信息率失真函数及其性质　167
6.2.1　信息率失真函数的定义　167
6.2.2　信息率失真函数的性质　168
6.3　限失真信源编码定理　171
6.4　信息率失真函数的计算　171
6.4.1　离散信源信息率失真函数的参量表示计算方法　171
6.4.2　离散信源信息率失真函数的迭代计算方法　179
本章基本概念　182
习题　183

第7章　网络信息论基础　185
7.1　概论　185
7.2　网络信道的分类　186
7.3　网络信源编码模型　188
7.4　多随机变量联合典型序列　190
7.5　相关信源编码定理　193
7.6　多址接入信道　196
7.7　高斯多址接入信道　200
7.8　广播信道　203
7.9　中继信道　207
7.10　具有边信息的信源编码定理　208
本章基本概念　211
习题　213

第8章　信息安全与密码学基础　214
8.1　信息安全概述　214
8.2　网络模型与安全服务功能　215
8.2.1　开放系统互连(OSI)参考模型　215
8.2.2　安全分层原则　216
8.2.3　安全服务功能　216
8.2.4　网络安全对策　218
8.3　密码学基础知识　220
8.3.1　基本术语　220
8.3.2　代替密码　222
8.4　密码算法的数学背景　225
8.4.1　信息论　225
8.4.2　复杂性理论　227
8.4.3　数论基础　228
8.5　数据加密标准　231
8.5.1　数据加密标准的开发　231
8.5.2　DES算法概要　231
8.5.3　初始置换　232
8.5.4　密码运算函数f(R,K)　232
8.5.5　密钥置换　233
8.5.6　扩展置换　234
8.5.7　S盒替代　234
8.5.8　P盒置换　236
8.5.9　逆初始置换　236
8.5.10　DES的安全性　236
8.6　公开密钥算法　237
8.6.1　公开密钥密码体制　237
8.6.2　背包公钥密码　238
8.6.3　RSA公钥加密　240
8.6.4　数字签名　242
本章基本概念　244
习题　246

参考文献　248