目　录
第1章　机器学习基础　1
1.1　机器学习方法概述　1
1.1.1　机器学习发展概述　2
1.1.2　机器学习的概念与术语　4
1.2　Python机器学习编程基础　7
1.2.1　Python编程基础　7
1.2.2　NumPy基础　10
1.2.3　SciPy基础　13
1.2.4　pandas基础　13
1.2.5　sklearn基础　15
1.2.6　Matplotlib基础　17
1.3　相关交叉知识点回顾　20
1.3.1　高等数学基础知识回顾　20
1.3.2　线性代数基础知识回顾　21
1.3.3　概率论基础知识回顾　24
1.3.4　优化算法基础知识回顾　25
1.4　本章小结　26
第2章　k近邻算法　27
2.1　kNN算法原理　27
2.1.1　kNN算法的基本思想　27
2.1.2　距离度量　28
2.1.3　k值选择　29
2.1.4　分类决策规则　30
2.1.5　kNN算法的优缺点　31
2.2　手动实现kNN分类器　31
2.2.1　机器学习任务的一般流程　32
2.2.2　kNN分类任务的实现流程　32
2.3　使用sklearn库实现kNN分类器　34
2.3.1　使用KNeighborsClassifier进行kNN分类　34
2.3.2　特征缩放：标准化与最小-最大标准化　36
2.3.3　使用KNeighborsRegressor进行kNN回归　37
2.4　本章小结　38
第3章　决策树　39
3.1　决策树模型　39
3.1.1　决策树与if-then规则　39
3.1.2　决策树学习　40
3.1.3　决策树分类与回归　45
3.2　决策树方法实践　45
3.2.1　手动实现ID3算法　45
3.2.2　使用sklearn库实现决策树分类　47
3.2.3　参数调优和交叉验证及决策树的可视化　49
3.2.4　决策树的过拟合　52
3.2.5　使用sklearn库实现决策树回归　53
3.2.6　网格搜索　54
3.3　本章小结　55
第4章　朴素贝叶斯法　56
4.1　贝叶斯决策论　56
4.2　朴素贝叶斯法　57
4.2.1　基本方法　57
4.2.2　参数估计：极大似然估计　58
4.2.3　参数估计：贝叶斯估计　58
4.3　朴素贝叶斯法Python实践　59
4.3.1　朴素贝叶斯文档分类实践　59
4.3.2　朴素贝叶斯文本情感分析实践　63
4.4　EM算法　65
4.4.1　EM算法的推导　66
4.4.2　EM算法流程与收敛性　67
4.5　本章小结　69
第5章　线性模型　70
5.1　用于回归的线性模型　70
5.1.1　线性回归　70
5.1.2　岭回归　74
5.1.3　Lasso回归　76
5.1.4　正则化　77
5.1.5　方差与偏差　78
5.1.6　交互特征、多项式特征与多项式回归　79
5.1.7　使用Pipeline类集成操作　81
5.2　用于分类的线性模型　82
5.2.1　逻辑回归分类思想　82
5.2.2　回归参数优化：梯度上升法　83
5.2.3　随机梯度上升法　88
5.2.4　学习率的选择　88
5.2.5　逻辑回归的正则化　90
5.2.6　多分类问题　90
5.2.7　非均衡分类问题　92
5.3　本章小结　95
第6章　支持向量机　96
6.1　线性可分支持向量机模型　96
6.1.1　分类间隔最大化　96
6.1.2　决策边界、函数间隔和几何间隔　97
6.1.3　线性可分支持向量机的对偶算法　99
6.2　非严格线性可分的支持向量机　101
6.2.1　软间隔最大化的概念　101
6.2.2　非严格线性可分支持向量机的对偶形式　102
6.2.3　损失函数与正则化　103
6.3　基于核函数的非线性支持向量机　104
6.3.1　核函数的基本概念　104
6.3.2　核函数支持向量机的对偶形式　105
6.3.3　核函数的应用实例　105
6.4　SVM的实现——SMO算法　108
6.4.1　SMO算法思想　108
6.4.2　SMO算法实现　109
6.5　本章小结　113
第7章　集成学习　114
7.1　集成学习概述　114
7.2　Bagging　115
7.2.1　Bootstrap抽样　115
7.2.2　Bagging方法　116
7.2.3　随机森林　116
7.3　Boosting　117
7.3.1　Bagging与Boosting对比　118
7.3.2　AdaBoost算法　118
7.3.3　Wine数据集AdaBoost分类实践　121
7.3.4　梯度提升树和XGBoost　124
7.3.5　Boosting方法年收入预测实践　128
7.4　Stacking　129
7.4.1　Stacking的工作原理　129
7.4.2　Stacking库的安装与使用　131
7.4.3　Stacking与神经网络的比较分析　132
7.5　本章小结　133
第8章　聚类　134
8.1　无监督学习：聚类概述　134
8.2　k-means聚类及其变体　137
8.2.1　k-means聚类　137
8.2.2　k-means++　141
8.2.3　k-medoids　142
8.2.4　FCM算法　143
8.2.5　聚类质量评估：肘方法与轮廓分析　144
8.3　凝聚聚类　147
8.4　DBSCAN　149
8.5　图数据聚类应用——Louvain社区划分　151
8.5.1　Louvain算法　152
8.5.2　社交网络Louvain社区发现实践　153
8.6　本章小结　162
第9章　数据准备与模型优化　163
9.1　预处理与数据缩放　163
9.1.1　预处理　163
9.1.2　数据缩放　168
9.2　数据降维　170
9.2.1　主成分分析　170
9.2.2　奇异值分解　174
9.2.3　用t-SNE进行流形学习　177
9.3　数据表示与特征工程　179
9.3.1　分类变量的编码方法　179
9.3.2　特征选择与特征构造　182
9.4　交叉验证与超参数调优　187
9.4.1　交叉验证　187
9.4.2　超参数调优　190
9.5　本章小结　194
第10章　神经网络与深度学习　195
10.1　神经网络基础　195
10.1.1　人工神经元模型　195
10.1.2　激活函数　196
10.1.3　感知机　202
10.2　深度学习基础　202
10.2.1　多层感知机　203
10.2.2　反向传播及链式法则　204
10.2.3　损失函数与优化器　207
10.2.4　正则化技术　209
10.2.5　PyTorch深度学习多层感知机实践　210
10.3　卷积神经网络　214
10.3.1　CNN的基本组成　214
10.3.2　PyTorch卷积神经网络服装图像分类实践　216
10.4　循环神经网络、LSTM与GRU　218
10.4.1　RNN　218
10.4.2　LSTM　219
10.4.3　GRU　221
10.4.4　PyTorch时间序列预测实践　222
10.5　本章小结　227
第11章　深度学习前沿架构：从Transformer架构到图神经网络　228
11.1　Transformer模型　228
11.1.1　整体架构　229
11.1.2　编码器　229
11.1.3　解码器　234
11.1.4　Transformer机器翻译实践　238
11.1.5　Transformer变种简述　252
11.2　图神经网络　254
11.2.1　基于谱的图卷积网络　254
11.2.2　基于空间的图卷积网络　257
11.2.3　其他图神经网络模型　260
11.2.4　GraphSAGE图卷积节点分类实例　265
11.3　图Transformer　267
11.3.1　Transformer与GNN的关联　267
11.3.2　早期的图Transformer　269
11.3.3　改进的图Transformer　270
11.3.4　经典图Transformer模型　272
11.4　本章小结　277
第12章　大模型技术及应用　278
12.1　大模型概述　278
12.1.1　大语言模型　278
12.1.2　基础模型的多领域发展　279
12.2　大模型应用方法　281
12.2.1　提示工程　281
12.2.2　大模型上下文学习　287
12.2.3　检索增强生成　289
12.2.4　规则引导式提示　289
12.2.5　大模型微调　289
12.3　大模型辩论赛文本内容生成实践　299
12.3.1　方案与策略　299
12.3.2　基于Qwen的辩论文本生成实现　300
12.4　大模型论文引用网络节点分类实践　307
12.4.1　任务背景与目标　307
12.4.2　处理Cora数据集并生成结构化提示　307
12.4.3　生成节点的邻居子图信息描述JSON文件　310
12.4.4　指令模板的定义　312
12.4.5　微调训练　312
12.4.6　性能评估　314
12.5　本章小结　316