第 1章 绪论 1
1.1 引言 1
1.2 基本概念 2
1.3 概率基础 4
1.3.1 概率定义 4
1.3.2 重要概念 5
1.3.3 随机变量与概率分布 6
1.3.4 贝叶斯定理 8
1.3.5 随机变量的数字特征 9
1.3.6 常见概率分布 11
1.4 发展历程 13
1.5 本章小结 15
1.6 习题 15
第 2章 学习模式 17
2.1 学习模式的类型 17
2.1.1 判别式学习 17
2.1.2 生成式学习 18
2.2 判别式学习基础 18
2.2.1 线性模型与非线性模型 19
2.2.2 经验风险最小化 19
2.2.3 结构风险最小化 20
2.3 生成式学习基础 21
2.3.1 贝叶斯推断 21
2.3.2 最大似然估计 22
2.3.3 马尔科夫链蒙特卡洛方法 24
2.3.4 变分推断 25
2.4 模型的评估与选择 27
2.4.1 偏差与方差 27
2.4.2 泛化能力 28
2.4.3 VC维 29
2.4.4 正则化与交叉验证 29
2.5 本章小结 31
2.6 习题 31
第3章 判别式模型 32
3.1 线性模型 32
3.1.1 线性回归 32
3.1.2 线性判别分析 33
3.1.3 感知机 34
3.1.4 Logistic 回归 35
3.2 决策树 36
3.2.1 基本学习流程 36
3.2.2 特征选择 37
3.2.3 决策树的生成 38
3.3 神经网络 40
3.3.1 神经元模型与多层网络 40
3.3.2 误差反向传播算法 41
3.3.3 常见神经网络 42
3.4 K近邻 45
3.4.1 K近邻算法 45
3.4.2 K近邻模型 45
3.4.3 K近邻实现 47
3.5 支持向量机 48
3.5.1 基本概念 48
3.5.2 支持向量机模型 50
3.5.3 支持向量机实现 54
3.6 Boosting 56
3.6.1 AdaBoost算法 56
3.6.2 提升树算法 59
3.6.3 梯度提升算法 61
3.7 条件随机场 62
3.7.1 基本概念 62
3.7.2 条件随机场模型 63
3.7.3 学习和推断算法 65
3.8 判别式聚类 68
3.8.1 K-均值聚类 69
3.8.2 谱聚类 71
3.8.3 层次聚类 72
3.9 本章小结 76
3.10 习题 76
第4章 生成式模型 77
4.1 朴素贝叶斯 77
4.1.1 基本方法 77
4.1.2 后验概率最大化准则 78
4.1.3 极大似然估计和贝叶斯估计 79
4.2 贝叶斯网络 81
4.2.1 条件独立性 81
4.2.2 贝叶斯球算法 82
4.3 贝叶斯神经网络 83
4.3.1 贝叶斯线性回归 83
4.3.2 贝叶斯神经网络 84
4.3.3 高斯过程 85
4.4 隐马尔可夫模型 87
4.4.1 基本概念 87
4.4.2 概率计算算法 88
4.4.3 学习算法 91
4.4.4 预测算法 94
4.5 马尔可夫随机场 96
4.5.1 基本概率 96
4.5.2 马尔可夫关键性质 97
4.5.3 参数估计与推断 99
4.6 隐狄利克雷分配 103
4.6.1 基本概念 103
4.6.2 模型描述 105
4.6.3 模型实现 106
4.7 生成式聚类 110
4.7.1 高斯混合模型 110
4.7.2 密度聚类 113
4.7.3 随机块模型 115
4.8 本章小结 118
4.9 习题 118
第5章 高级机器学习概述 120
5.1 机器学习演变 120
5.2 特征表示学习 122
5.2.1 图像数据表示学习 124
5.2.2 文本数据表示学习 125
5.2.3 图数据表示学习 125
5.3 新型学习机制 126
5.3.1 自监督学习 126
5.3.2 迁移学习 126
5.3.3 强化学习 128
5.3.4 大语言模型 129
5.4 本章小结 130
5.5 习题 131
第6章 特征表示学习 132
6.1 图像数据表示学习 132
6.1.1 数据形式与任务 132
6.1.2 卷积神经网络基础架构 133
6.1.3 经典模型 139
6.2 文本数据表示学习 148
6.2.1 数据形式与任务 148
6.2.2 循环神经网络架构 149
6.2.3 经典模型 152
6.3 图数据表示学习 162
6.3.1 数据形式与任务 162
6.3.2 图神经网络基础架构 163
6.3.3 经典模型 169
6.4 小结 179
6.5 习题 179
第7章 新型学习机制 180
7.1 自监督学习 180
7.1.1 自监督学习目的 181
7.1.2 生成式自监督学习 183
7.1.3 对比式自监督学习 191
7.1.4 对抗式自监督学习 197
7.2 迁移学习 201
7.2.1 实例加权策略 201
7.2.2 特征变换策略 204
7.2.3 参数控制策略 205
7.3 强化学习 207
7.3.1 强化学习问题 207
7.3.2 基于值函数的学习方法 213
7.3.3 基于策略函数的学习方法 220
7.3.4 演员-评论员算法 222
7.5 大语言模型学习 225
7.5.1 扩展定律和涌现 225
7.5.2 大语言模型的架构 227
7.5.3 预训练 227
7.5.4 微调 231
7.5.5 提示学习 233
7.5.6 大语言模型的缺陷 234
7.6 本章小结 237
7.7 习题 237
第8章 机器学习编程框架 239
8.1 机器学习实施流程 239
8.1.1 目标分析 239
8.1.2 数据处理 240
8.1.3 特征工程 243
8.1.4 模型训练 246
8.1.5 模型评估 248
8.2 机器学习编程框架 253
8.2.1 Scikit-learn 253
8.2.2 PyTorch 255
8.2.3 TensorFlow 256
8.2.4 PaddlePaddle 259
8.2.5 MindSpore 260
8.3 本章小结 261
8.4 习题 262
第9章 人脸识别 264
9.1 背景 264
9.1.1 人脸识别简介 264
9.1.2 人脸识别发展历程 265
9.1.2 人脸识别一般方法 266
9.1.3 人脸识别通用流程 267
9.1.4 人脸识别数据集 270
9.2 人脸检测 276
9.2.1 Dlib库简介 276
9.2.2 OpenCV简介 277
9.2.3 人脸检测实验 278
9.3 人脸识别 280
9.3.1 基于传统机器学习的人脸识别 280
9.3.2 基于深度学习的人脸识别 286
9.4 本章小结 292
9.5 习题 292
第 10章 灾害性天气预报 294
10.1 背景 294
10.1.1灾害性天气预报简介 294
10.1.2灾害性天气预报基本流程 296
10.1.3经典预报模型简介 297
10.1.4灾害性天气预报数据集 300
10.2 灾害性天气预报模型构建 304
10.2.1 设计原理与模型结构 304
10.2.2 基于PyTorch框架的代码实现 306
10.3 预报模型训练与评估 310
10.3.1 数据介绍与处理 311
10.3.2 模型训练 312
10.3.3 模型评估 315
10.4 本章小结 318
10.5 习题 319
参考文献 320