第 1章 机器学习基础 1
1.1 机器学习概述 1
1.1.1 机器学习简史 1
1.1.2 机器学习主要流派 3
1.2 机器学习、人工智能和数据挖掘 5
1.2.1 什么是人工智能 5
1.2.2 什么是数据挖掘 5
1.2.3 机器学习、人工智能和数据挖掘的关系 6
1.3 机器学习应用的典型领域 7
1.4 机器学习算法 12
1.5 机器学习的流程 18
习题 20
第 2章 机器学习基本方法 21
2.1 统计分析 21
2.1.1 统计基础 21
2.1.2 常见概率分布 27
2.1.3 参数估计 28
2.1.4 假设检验 29
2.1.5 线性回归 30
2.1.6 逻辑回归 34
2.1.7 判别分析 35
2.1.8 非线性模型 36
2.2 高维数据降维 36
2.2.1 主成分分析 37
2.2.2 奇异值分解 39
2.2.3 线性判别分析 40
2.2.4 局部线性嵌入 43
2.2.5 拉普拉斯特征映射 44
2.3 特征工程 45
2.3.1 特征构造 46
2.3.2 特征选择 46
2.3.3 特征提取 47
2.4 模型训练 47
2.4.1 模型训练常见术语 48
2.4.2 训练数据收集 48
2.5 可视化分析 49
2.5.1 可视化分析的作用 49
2.5.2 可视化分析的基本流程 49
2.5.3 可视化分析方法 50
2.5.4 可视化分析常用工具 51
2.5.5 常见的可视化图表 52
2.5.6 可视化分析面临的挑战 62
习题 62
第3章 决策树与分类算法 64
3.1 决策树 64
3.1.1 分支处理 65
3.1.2 连续属性离散化 71
3.1.3 过拟合问题 73
3.1.4 分类性能评价 76
3.2 集成学习 80
3.2.1 装袋法 80
3.2.2 提升法 81
3.2.3 GBDT算法 83
3.2.4 XGBoost算法 86
3.2.5 随机森林算法 90
习题 92
第4章 聚类分析 93
4.1 聚类分析概述 93
4.1.1 聚类算法分类 93
4.1.2 良好聚类算法的特征 94
4.2 聚类分析的度量 95
4.2.1 外部指标 95
4.2.2 内部指标 96
4.3 基于划分的聚类 97
4.3.1 k-均值算法 98
4.3.2 k-medoids算法 103
4.3.3 k-prototype算法 103
4.4 基于密度的聚类 104
4.4.1 DBSCAN算法 104
4.4.2 OPTICS算法 106
4.5 基于层次的聚类 107
4.5.1 BIRCH聚类 107
4.5.2 CURE算法 110
4.6 基于网格的聚类 112
4.7 基于模型的聚类 113
4.7.1 基于概率模型的聚类 113
4.7.2 模糊聚类 118
4.7.3 基于Kohonen神经网络模型的聚类 118
习题 123
第5章 文本分析 124
5.1 文本分析概述 124
5.2 文本特征提取及表示 125
5.2.1 TF-IDF算法 125
5.2.2 信息增益 125
5.2.3 互信息 126
5.2.4 卡方统计量 127
5.2.5 词嵌入 127
5.2.6 语言模型 128
5.2.7 向量空间模型 129
5.3 知识图谱 131
5.3.1 知识图谱相关概念 132
5.3.2 知识图谱的存储 132
5.3.3 知识图谱的挖掘与计算 133
5.3.4 知识图谱的构建过程 134
5.4 词法分析 138
5.4.1 文本分词 138
5.4.2 命名实体识别 141
5.4.3 词义消歧 141
5.5 句法分析 142
5.6 语义分析 144
5.7 文本分析应用 145
5.7.1 文本分类 145
5.7.2 信息抽取 147
5.7.3 问答系统 148
5.7.4 情感分析 149
5.7.5 自动摘要 150
习题 151
第6章 神经网络 152
6.1 神经网络概述 152
6.1.1 前馈神经网络 152
6.1.2 反馈神经网络 157
6.1.3 自组织神经网络 159
6.2 神经网络相关概念 161
6.2.1 激活函数 161
6.2.2 损失函数 170
6.2.3 学习率 175
6.2.4 过拟合与正则化 179
6.2.5 数据预处理 181
6.2.6 训练方式 181
6.2.7 神经网络模型训练中的问题 182
6.2.8 网络模型效果评价 187
6.3 神经网络应用 187
习题 189
第7章 贝叶斯网络 190
7.1 贝叶斯定理 190
7.2 朴素贝叶斯分类模型 191
7.3 贝叶斯网络推理 194
7.4 贝叶斯网络的应用 199
7.4.1 中文分词 200
7.4.2 机器翻译 200
7.4.3 故障诊断 200
7.4.4 疾病诊断 201
习题 203
第8章 支持向量机 204
8.1 线性可分支持向量机 204
8.1.1 间隔与超平面 204
8.1.2 支持向量 205
8.1.3 对偶问题求解 207
8.1.4 软间隔 208
8.2 非线性可分支持向量机 209
8.2.1 非线性可分支持向量机原理 209
8.2.2 常见核函数 209
8.3 支持向量机应用 210
习题 214
第9章 分布式机器学习 215
9.1 分布式机器学习基础 215
9.2 分布式机器学习框架 216
9.3 并行决策树 221
9.4 并行k-均值算法 222
习题 223
第 10章 推荐系统 225
10.1 推荐系统概述 225
10.1.1 推荐系统的应用场景 225
10.1.2 相似度计算 226
10.2 推荐系统通用模型 228
10.2.1 推荐系统结构 228
10.2.2 基于人口统计学的推荐 229
10.2.3 基于内容的推荐 229
10.2.4 基于协同过滤的推荐 230
10.2.5 基于图的推荐 233
10.2.6 基于关联规则的推荐 234
10.2.7 基于知识的推荐 240
10.2.8 基于标签的推荐 241
10.3 推荐系统评测 242
10.3.1 评测方法 242
10.3.2 评测指标 243
10.4 推荐系统常见问题 246
10.5 推荐系统实例 249
10.6 深度学习在推荐系统中的应用 257
习题 261
第 11章 强化学习 262
11.1 强化学习概述 262
11.2 强化学习基础 263
11.2.1 马尔可夫链 263
11.2.2 强化学习基本概念 263
11.2.3 强化学习的目标函数 266
11.2.4 价值函数 266
11.3 强化学习基本算法 270
11.3.1 蒙特卡洛强化学习 270
11.3.2 时序差分算法 271
11.3.3 SARSA算法 271
11.3.4 Q-Learning算法 273
11.4 深度强化学习 279
11.4.1 DQN算法 279
11.4.2 DDQN算法 283
11.4.3 Dueling DQN算法 284
11.4.4 基于策略的强化学习 285
11.4.5 演员-评论家算法 287
11.4.6 A2C算法 294
11.4.7 A3C算法 295
11.4.8 TRPO 算法 296
11.4.9 PPO 算法 298
习题 300
实验1 二手车价格预测实验 301
实验2 基于强化学习的倒立摆实验 317
实验3 超市销售数据分析 327