机器学习从原理到应用（附微课视频第2版）（线上实训版）-图书-人邮教育社区

内容摘要

本书系统介绍机器学习的基础理论及应用。全书共 12 章，第 1 章和第 2 章介绍机器学习的基础知识；第 3 章～第 9 章介绍传统的监督学习算法；第 10 章介绍神经网络相关内容；第 11 章和第 12 章分别介绍无监督学习算法中的聚类和降维。本书内容由浅入深、语言通俗易懂，既注重理论深度，又强调实践指导性。每章末均设置习题，帮助读者巩固知识、提升运用知识的能力。
本书可作为人工智能、大数据及计算机等相关专业机器学习课程的教材，也可作为相关领域从业人员的参考书。

第1章机器学习 ......................... 1
1.1 什么是机器学习 ......................... 1
1.2 机器学习的类型 ....................... 2
1.2.1 数据 ................................. 2
1.2.2 监督学习 ......................... 3
1.2.3 无监督学习 ..................... 4
1.2.4 强化学习 ......................... 5
1.3 机器学习的发展历史 ................. 6
1.4 机器学习的工作流程 ................. 7
1.4.1 数据收集 ......................... 8
1.4.2 特征工程 ......................... 8
1.4.3 模型训练 ......................... 8
1.4.4 模型选择 ......................... 9
1.4.5 模型融合（可选） ......... 9
1.4.6 模型评估和模型部署 ..... 9
1.5 常用的机器学习工具包 ............. 9
1.5.1 Jupyter Notebook .......... 10
1.5.2 pandas ............................ 10
1.5.3 数据可视化工具包 ........ 11
1.5.4 scikit-learn ...................... 11
1.6 小结 ........................................... 12
1.7 习题 ........................................... 12

第2章模型评估与模型选择 .................................. 13
2.1 K 近邻分类器 ......................... 13
2.1.1 K 近邻分类器的基本思想 ............................... 13
2.1.2 距离度量 ....................... 14
2.1.3 特征缩放 ....................... 16
2.1.4 K 的影响 ....................... 18
2.2 模型评估 .................................. 19
2.3 模型选择 .................................. 20
2.3.1 留出法 ........................... 21
2.3.2 交叉验证法 ................... 21
2.4 超参数搜索 .............................. 23
2.4.1 网格搜索 ....................... 23
2.4.2 随机搜索 ....................... 24
2.5 scikit-learn 中 K 近邻分类器 ...................................... 24
2.6 小结 .......................................... 26
2.7 习题 ........................................... 26

第3章线性回归 ....................... 28
3.1 线性回归简介 ........................... 28
3.1.1 一元线性回归 ............... 28
3.1.2 多元线性回归 ............... 30
3.2 回归任务中的损失函数 ........... 31
3.2.1 L1 损失 ......................... 32
3.2.2 L2 损失 ......................... 32
3.2.3 L2 损失与 L1 损失的对比 ............................... 32
3.2.4 Huber 损失 .................... 33
3.3 正则化的线性回归 ................... 34
3.3.1 L2 正则化（岭回归） ... 34
3.3.2 L1 正则化（LASSO 回归） ........................... 35
3.3.3 L2 正则化+L1 正则化（弹性网络） ................. 35
3.4 线性回归的解析求解 ............... 35
3.4.1 最小二乘线性回归的解析求解 ....................... 36
3.4.2 岭回归的解析求解 ....... 37
3.5 梯度下降法 ............................... 38
3.5.1 学习率 ........................... 39
3.5.2 小批量梯度下降 ........... 40
3.6 回归模型的性能评价指标 ....... 41
3.6.1 均方误差 ....................... 41
3.6.2 均方根误差 ................... 41
3.6.3 平均绝对误差 ............... 41
3.6.4 R2 分数 .......................... 41
3.7 线性回归的超参数调优 ........... 42
3.8 小结 .......................................... 44
3.9 习题 ........................................... 44

第4章特征工程 ....................... 46
4.1 特征工程概述 ........................... 46
4.2 数据探索性分析 ....................... 47
4.2.1 数据总览 ....................... 47
4.2.2 数据质量 ....................... 47
4.2.3 单维特征的分布 ........... 48
4.2.4 特征之间的关系 ........... 49
4.2.5 特征与标签之间的关系 ... 50
4.3 数据预处理 ............................... 51
4.3.1 数值型特征的预处理 ... 51
4.3.2 类别型特征的预处理 ... 53
4.3.3 时间型特征的预处理 ... 57
4.4 特征提取 ................................... 57
4.5 特征构建 ................................... 57
4.5.1 交互特征 ....................... 58
4.5.2 多项式特征 ................... 58
4.6 特征选择 ................................... 58
4.6.1 过滤式特征选择 ........... 58
4.6.2 包裹式特征选择 ........... 60
4.6.3 嵌入式特征选择 ........... 62
4.7 小结 ........................................... 62
4.8 习题 ........................................... 62

第5章对数几率回归 ............ 64
5.1 对数几率回归简介 ................... 64
5.2 对数几率回归的目标函数 ....... 66
5.3 多分类任务 ............................... 67
5.4 分类模型的性能评价指标 ....... 69
5.4.1 正确率 .......................... 69
5.4.2 交叉熵损失 .................. 69
5.4.3 合页损失 ...................... 69
5.4.4 混淆矩阵 ...................... 70
5.4.5 ROC 曲线与 AUC ........ 71
5.4.6 P-R 曲线与 AP ............. 71
5.4.7 多分类模型的性能评价指标 .............................. 72
5.5 类别不均衡的分类 .................. 73
5.6 案例分析：糖尿病风险预测 .......................................... 73
5.7 小结 .......................................... 75
5.8 习题 .......................................... 76

第6章支持向量机 ................. 78
6.1 最大间隔分类器 ....................... 78
6.2 软间隔的 SVM ....................... 81
6.3 对偶问题 .................................. 83
6.4 核化 SVM ............................... 86
6.5 支持向量回归 .......................... 89
6.6 案例分析：糖尿病风险预测 .......................................... 90
6.7 小结 .......................................... 91
6.8 习题 .......................................... 91

第7章朴素贝叶斯分类器 ............................ 93
7.1 生成式分类器 ........................... 93
7.2 贝叶斯规则 .............................. 94
7.3 朴素贝叶斯分类器基本概念 .......................................... 94
7.3.1 类先验概率 ................... 95
7.3.2 类条件概率 ................... 95
7.4 朴素贝叶斯分类器的训练 ...... 96
7.4.1 类先验概率估计 ........... 96
7.4.2 类条件概率估计 ........... 97
7.5 朴素贝叶斯分类器与其他分类器的比较 ......................... 100
7.6 案例分析：新闻分类 ............ 102
7.7 小结 ........................................ 104
7.8 习题 ........................................ 104

第8章决策树 .......................... 106
8.1 决策树简介 ............................. 106
8.2 树的构建 ................................ 108
8.3 划分准则 ................................ 108
8.4 提前终止 ................................ 116
8.5 剪枝 ........................................ 117
8.6 scikit-learn 中的决策树API ......................................... 119
8.7 案例分析：鸢尾花分类 ........ 121
8.8 小结 ........................................ 122
8.9 习题 ........................................ 122

第9章集成学习 ..................... 124
9.1 误差的偏差-方差分解 .......... 124
9.2 为什么集成学习有效 ............ 125
9.3 Bagging ............................... 126
9.4 随机森林 ................................. 129
9.5 提升法 ..................................... 131
9.5.1 AdaBoost ..................... 131
9.5.2 GBM ............................ 134
9.5.3 XGBoost ...................... 137
9.6 投票法 ..................................... 144
9.7 堆叠法 ..................................... 145
9.8 案例分析：糖尿病风险预测 ......................................... 147
9.9 小结 ........................................ 149
9.10 习题 ...................................... 149

第 10 章神经网络 ................... 150
10.1 神经网络简介 ....................... 150
10.1.1 神经元的基本结构 ... 150
10.1.2 前馈神经网络结构 ... 152
10.2 神经网络的训练：反向传播 ....................................... 153
10.3 激活函数 .............................. 154
10.4 神经网络的抗过拟合技术 ....................................... 157
10.4.1 数据增广 ................. 157
10.4.2 正则化 ..................... 157
10.4.3 训练提前终止 ......... 157
10.4.4 丢弃法 ..................... 158
10.5 优化算法 .............................. 158
10.5.1 动量法 ..................... 159
10.5.2 涅斯捷罗夫加速梯度法 ..................... 159
10.5.3 AdaGrad 算法 .......... 160
10.5.4 RMSprop 算法 ......... 160
10.5.5 Adam 算法 ............... 160
10.6 卷积神经网络 ....................... 161
10.6.1 卷积层 ..................... 162
10.6.2 通道数 ..................... 164
10.6.3 池化层 ..................... 164
10.7 循环神经网络 ....................... 165
10.7.1 简单循环神经网络 .... 165
10.7.2 LSTM ....................... 166
10.8 残差连接 ............................... 167
10.9 案例分析：手写数字识别 .... 168
10.10 小结 .................................... 170
10.11 习题 ..................................... 171

第 11 章聚类 ............................... 172
11.1 无监督学习简介 .................... 172
11.2 聚类简介 ............................... 172
11.3 K 均值聚类 ........................... 173
11.4 层次聚类 ............................... 177
11.5 案例分析：客户分组 ........... 184
11.6 案例分析：风电机组异常数据识别 ........................................ 185
11.6.1 数据说明 .................. 186
11.6.2 基于规则的异常数据识别 ........................... 186
11.6.3 基于聚类的异常数据识别 ........................... 187
11.6.4 基于预测模型的异常数据识别 ................... 187
11.7 小结 ....................................... 189
11.8 习题 ....................................... 189

第 12 章降维 .............................. 190
12.1 降维简介 ............................... 190
12.2 主成分分析 .......................... 191
12.3 自编码器 .............................. 196
12.4 多维缩放 .............................. 197
12.5 t-SNE ................................ 198
12.6 案例分析：手写数字识别 ...................................... 200
12.7 案例分析：鸢尾花分类 ...... 201
12.8 小结 ...................................... 203
12.9 习题 ...................................... 203
参考文献 ......................................... 204