机器学习从原理到应用

集“算法原理、核心算法实现、流行机器学习平台调用及应用案例”于一体的机器学习宝典。
分享 推荐 4 收藏 105 阅读 3.2K
卿来云 (作者)

关于本书的内容有任何问题,请联系 祝智敏

(1)瞄准高校教学需求,助力提升教学效果。
本书由从教10余年的国内重点高校一线教师,在认真学习国内外经典机器学习教材的基础上,编写而成;编写过程瞄准高校教学需求,使得本书可极大程度促进高校教师提升机器学习相关课程的教学效果。
(2)整体框架布局合理,内容介绍详细到位。
本书整体由“监督学习模型和非监督学习模型”两大部分组成。针对每个机器学习模型,本书详细地介绍了其原理、形式、函数(损失函数和正则项)、优化方法以及应用案例;公式推导较为详尽,语言表述通俗易懂,可减轻读者学习负担,提升读者学习效果。
(3)理论实践紧密结合,应用案例完全落地。
针对应用案例,本书选用了Kaggle平台上提供的数据,并在对应的代码中给出了机器学习项目的完整步骤,包括对数据的探索式分析、特征工程、模型训练、超参数调优和模型应用。机器学习模型的案例在 Scikit-Learn 平台上进行实现,深度学习模型的案例基于PyTorch框架进行分析。

特别说明

本书从“监督学习模型和非监督学习模型”入手,系统而详细地介绍常用的机器学习模型。
(1)监督学习模型
本书首先介绍线性模型,如线性回归、Logistic回归、线性支持向量机等,具体包括模型的基本概念、训练与应用;其次介绍非线性模型,如核方法(非线性支持向量机)、决策树、神经网络等;再次介绍集成学习模型,如随机森林、基于决策树的梯度提升、LightGBM 等;最后介绍神经网络模型及其训练。
(2)非监督学习模型
本书首先讲解了常用的线性降维技术,如主成分分析等,以及非线性降维技术,如等距特征映射、局部线性映射、拉普拉斯特征映射和基于 T 分布的随机邻域嵌入等;然后介绍了聚类模型算法,包括 K 均值、混合高斯模型、层次聚类、均值漂移聚类、基于密度峰值的聚类和基于深度学习的聚类等。

内容摘要

→ 本书共11章,主要介绍机器学习的基本概念和两大类常用的机器学习模型,即监督学习模型和非监督学习模型。针对监督学习模型,本书介绍了线性模型(线性回归、Logistic回归)、非线性模型(SVM、生成式分类器、决策树)、集成学习模型和神经网络模型及其训练;针对非监督学习模型,本书讲解了常用的降维技术(线性降维技术与非线性降维技术)和聚类算法(如均值聚类、GMM、层次聚类、均值漂移聚类、DBSCAN和基于密度峰值的聚类等)。
→ 本书可作为高等院校计算机应用、人工智能等专业的机器学习相关课程的教材,也可作为计算机应用与人工智能等领域从业人员的学习参考用书。

详情页

目录

章名:
01 机器学习简介
02 线性回归
03 Logistic回归
04 SVM
05 生成式分类器
06 决策树
07 集成学习
08 神经网络结构
09 深度神经模型训练
10 降维
11 聚类

01
机器学习简介
1.1 什么是机器学习 2
1.2 机器学习简史 2
1.3 机器学习任务的类型 6
1.3.1 监督学习 6
1.3.2 无监督学习 10
1.4 机器学习项目的一般步骤 10
1.5 模型评估 11
1.5.1 交叉验证 12
1.5.2 超参数调优 13
1.6 本章小结 14
1.7 习题 14

02
线性回归
2.1 线性回归简介 16
2.2 线性回归模型的目标函数 17
2.2.1 回归模型的损失函数 17
2.2.2 线性回归模型的正则函数 20
2.3 线性回归模型的优化求解 23
2.3.1 解析求解法 24
2.3.2 梯度下降法 26
2.3.3 坐标轴下降法 28
2.4 回归任务的性能指标 31
2.5 线性回归模型的超参数调优 32
2.6 案例分析1:广告费用与销量预测 33
2.7 案例分析2:共享单车骑行量预测 36
2.8 本章小结 38
2.9 习题 38

03
Logistic回归
3.1 Logistic回归模型 42
3.2 Logistic回归模型的目标函数 44
3.3 Logistic回归目标函数优化求解 45
3.3.1 梯度下降法 45
3.3.2 牛顿法 46
3.3.3 拟牛顿法 48
3.4 多类分类任务 50
3.5 分类任务的性能指标 51
3.6 数据不均衡分类问题 55
3.6.1 重采样 55
3.6.2 代价敏感学习 56
3.7 案例分析:奥拓商品分类 57
3.8 本章小结 58
3.9 习题 59

04
SVM
4.1 SVM的基本型 64
4.1.1 最大间隔 64
4.1.2 SVM的对偶问题 67
4.2 带松弛因子的SVM 69
4.3 合页损失函数 72
4.4 核方法 73
4.4.1 核技巧 73
4.4.2 核函数构造 75
4.5 SVM优化求解:SMO 77
4.5.1 SMO算法原理 77
4.5.2 对原始解进行修剪 79
4.5.3 α选择 80
4.5.4 更新截距项b 81
4.5.5 SMO小结 82
4.6 支持向量回归 83
4.6.1 ?不敏感损失函数 83
4.6.2 支持向量回归 83
4.7 案例分析1:奥拓商品分类 85
4.8 案例分析2:共享单车骑行量预测 86
4.9 本章小结 87
4.10 习题 88
   
05
生成式分类器
5.1 生成式分类器 92
5.2 贝叶斯规则 92
5.2.1 贝叶斯公式 92
5.2.2 朴素贝叶斯分类器 93
5.2.3 朴素贝叶斯分类器的训练 94
5.2.4 案例分析1:奥拓商品分类 98
5.2.5 案例分析2:新闻分类 99
5.3 高斯判别分析 100
5.3.1 高斯判别分析的基本原理 100
5.3.2 高斯判别分析的模型训练 102
5.3.3 案例分析3:MNIST手写数字识别 102
5.4 本章小结 102
5.5 习题 103

06
决策树
6.1 决策树基本原理 106
6.2 建树 107
6.2.1 ID3和C4.5 107
6.2.2 CART 111
6.3 剪枝 113
6.4 提前终止 114
6.5 案例分析1:蘑菇分类 114
6.6 案例分析2:共享单车骑行量预测 116
6.7 本章小结 117
6.8 习题 117

07
集成学习
7.1 误差的偏差-方差分解 120
7.1.1 点估计的偏差-方差分解 120
7.1.2 预测误差的偏差-方差分解 120
7.2 Bagging 122
7.3 随机森林 124
7.3.1 随机森林的基本原理 124
7.3.2 案例分析:奥拓商品分类 124
7.4 梯度提升 124
7.5 XGBoost 126
7.5.1 XGBoost基本原理 126
7.5.2 XGBoost优化 129
7.5.3 XGBoost使用指南 129
7.5.4 案例分析:奥拓商品分类 132
7.6 LightGBM 133
7.6.1 基于直方图的决策树构造算法 133
7.6.2 直方图加速:基于梯度的单边采样算法 134
7.6.3 直方图加速:互斥特征捆绑算法 135
7.6.4 支持离散型特征 136
7.6.5 带深度限制的按叶子生长策略 137
7.6.6 案例分析:奥拓商品分类 137
7.7 融合 137
7.8 本章小结 138
7.9 习题 138

08
神经网络结构
8.1 神经元的基本结构 142
8.2 前馈全连接神经网络 142
8.3 卷积神经网络 143
8.3.1 卷积层 143
8.3.2 池化层 146
8.3.3 CNN示例:AlexNet 146
8.4 循环神经网络 148
8.4.1 简单循环神经网络 148
8.4.2 长短时记忆网络 149
8.5 残差神经网络 151
8.6 丢弃法 152
8.7 本章小结 153
8.8 习题 154

09
深度神经模型训练
9.1 梯度计算:反向传播 156
9.1.1 微积分中的链式法则 156
9.1.2 计算图和反向传播 157
9.1.3 DNN的反向传播算法 158
9.1.4 DNN的计算图 160
9.1.5 CNN的反向传播算法 162
9.1.6 循环神经网络的反向传播算法 164
9.2 激活函数 168
9.3 深度学习中的优化算法 171
9.3.1 动量法 172
9.3.2 自适应学习率 174
9.4 权重初始化 175
9.5 减弱过拟合策略 179
9.6 案例分析:MNIST手写数字识别 180
9.7 本章小结 182
9.8 习题 182

10
降维
10.1 主成分分析 186
10.2 自编码器 188
10.3 多维缩放 191
10.4 等度量映射 193
10.5 局部线性嵌入 194
10.6 拉普拉斯特征映射 196
10.7 基于T分布的随机邻域嵌入 197
10.8 案例分析:MNIST数据集 199
10.9 本章小结 202
10.10 习题 202

11
聚类
11.1 聚类算法的性能指标 204
11.1.1 外部指标 204
11.1.2 内部指标 206
11.2 相似性度量 207
11.3 K均值聚类 210
11.4 高斯混合模型 212
11.5 层次聚类 215
11.5.1 凝聚式层次聚类 215
11.5.2 分裂式层次聚类 217
11.6 均值漂移聚类 217
11.7 DBSCAN 218
11.8 基于密度峰值的聚类 220
11.9 基于深度学习的聚类 222
11.10 案例分析:MNIST数据集聚类 222
11.11 本章小结 224
11.12 习题 224
  
附录 225

A 奇异值分解 226
A.1 特征值和特征向量 226
A.2 SVD的定义 226

B 拉格朗日乘子法和卡罗需-库恩-塔克条件 227
B.1 拉格朗日乘子法 227
B.2 为什么拉格朗日乘子法能够求得最优值 228
B.3 KKT条件 228

C 对偶问题 230
C.1 原始问题 230
C.2 对偶问题 231
C.3 原始问题和对偶问题的关系 231

参考文献 233

读者评论

  • 目前更新了第4章、第6~11章的PPT资源。

    剩余章节PPT资源后续更新完第一时间同步上传。

    祝智敏发表于 2021/1/26 10:33:58

我要评论

作者介绍

卿来云
中国科学院研究生院计算机博士,中国科学院大学计算机学院教授,长期从事机器学习、计算机视觉和数据压缩方面的科研与教学工作,主要研究领域涉及机器学习、图像识别和视频内容分析等。

黄庆明
中国科学院大学讲席教授、博导,国家杰出青年科学基金获得者,百千万人才工程国家级人选,被授予“有突出贡献中青年专家”荣誉称号,享受国务院政府特殊津贴。IEEE Fellow,IEEE CASS北京分会主席,CCF理事,CCF会士,北京市图像图形学会副理事长。主要研究方向涉及机器学习、计算机视觉、多媒体计算、图像与视频分析、模式识别等。主持国家重点研发计划、973课题等项目20余项,多次获得省部级科技奖励。

推荐用户

购买本书用户

相关图书

联系客服
联系客服
人邮微信
人邮微信
微信二维码
返回顶部
返回顶部