Python大数据挖掘与人工智能应用(微课版)

介绍BERT大语言模型本地微调和云服务器微调及利用百度千帆大模型平台实现
分享 推荐 0 收藏 8 阅读 745
潘明章 黄恒秋 刘柏霆 柳雪飞 (编著) 978-7-115-69504-8

关于本书的内容有任何问题,请联系 许金霞

1.以应用为导向,将理论与实践相结合,深入浅出地介绍了利用Python进行大数据挖掘与人工智能前沿应用的基本知识,以及如何将其应用到具体领域的方法。
2.介绍BERT大语言模型本地微调和云服务器微调及利用百度千帆大模型平台实现DeepSeek-R1微调的应用案例、基于大数据挖掘技术的地铁站点日客流量预测、基于机器学习模型和深度学习模型的水色图像水质识别、基于大模型的AI作画与 streamlit web应用部署、基于扣子平台和DeepSeek大模型的智能体开发。
3.配套了若干个实验关卡内容,线上基于头歌实践教学平台,集电子材料、视频、实验、在线编程环境、教学与实验管理于一体,实验采用游戏式闯关设计,可自动测评和收集详细的实验行为数据,支持手机、电脑等终端,可用于混合式或SPOC课堂等形式的创新教学。
¥69.80 ¥59.33 (8.5 折)

内容摘要

本书以应用为导向,将理论与实践相结合,深入浅出地介绍了利用Python进行大数据挖掘与人工智能前沿应用的基本知识,以及如何将其应用到具体领域的方法。
本书分为基础篇和案例篇两个部分。基础篇(第1章~第9章)主要介绍Python基础知识及应用于科学计算、数据处理、数据可视化、特征工程、机器学习、集成学习、深度学习、大模型API等方面的基础知识;案例篇(第10章~第14章)主要介绍BERT大语言模型本地微调和云服务器微调及利用百度千帆大模型平台实现DeepSeek-R1微调的应用案例、基于大数据挖掘技术的地铁站点日客流量预测、基于机器学习模型和深度学习模型的水色图像水质识别、基于大模型的AI作画与 streamlit web应用部署、基于扣子平台和DeepSeek大模型的智能体开发。本书提供课件PPT、数据和程序、微课视频、实验等丰富的配套资源。

目录

第 1章 Python基础 2
1.1 Python概述 2
1.2 Python安装及启动 3
1.2.1 Python安装 3
1.2.2 Python启动及界面认识 5
1.2.3 Python安装扩展包 9
1.3 Python基本数据类型 10
1.3.1 数值的定义 10
1.3.2 字符串的定义 11
1.3.3 列表的定义 11
1.3.4 元组的定义 11
1.3.5 集合的定义 12
1.3.6 字典的定义 12
1.3.7 列表、元组、集合与字典之间的比较 13
1.4 Python相关的公有方法 13
1.4.1 索引 13
1.4.2 切片 14
1.4.3 长度 15
1.4.4 统计 15
1.4.5 成员身份 15
1.4.6 变量删除 16
1.5 列表、元组与字符串方法 16
1.5.1 列表方法 16
1.5.2 元组方法 18
1.5.3 字符串方法 19
1.6 字典方法 20
1.7 条件语句 21
1.7.1 if…语句 21
1.7.2 if…else…语句 22
1.7.3 if…elif…else…语句 22
1.8 循环语句 22
1.8.1 while语句 23
1.8.2 for循环 23
1.9 函数 23
1.9.1 无返回值函数的定义与调用 24
1.9.2 有返回值函数的定义与调用 24
1.9.3 有多返回值函数的定义与调用 24
本章小结 25
本章练习 25
第 2章 科学计算包Numpy 26
2.1 Numpy简介 26
2.2 创建数组 28
2.2.1 利用array()函数创建数组 28
2.2.2 利用内置函数创建数组 29
2.3 数组尺寸 29
2.4 数组运算 30
2.5 数组切片 31
2.5.1 常见的数组切片方法 31
2.5.2 利用ix_()函数进行数组切片 32
2.6 数组连接 33
2.7 数据存取 34
2.8 数组形态变换 35
2.9 数组排序与搜索 36
2.10 矩阵与线性代数运算 37
2.10.1 创建Numpy矩阵 37
2.10.2 矩阵的属性和基本运算 38
2.10.3 线性代数运算 39
本章小结 42
本章练习 43

第3章 数据处理包Pandas 43
3.1 Pandas简介 44
3.2 序列 45
3.2.1 序列创建及访问 45
3.2.2 序列属性 46
3.2.3 序列方法 47
3.2.4 序列切片 48
3.2.5 序列聚合运算 49
3.3 数据框 49
3.3.1 数据框创建 50
3.3.2 数据框属性 50
3.3.3 数据框方法 51
3.3.4 数据框切片 55
3.4 外部文件读取 56
3.4.1 Excel文件读取 56
3.4.2 TXT文件读取 57
3.4.3 CSV文件读取 58
本章小结 59
本章练习 60

第4章 数据可视化包Matplotlib 61
4.1 Matplotlib绘图基础 61
4.1.1 Matplotlib图像构成 62
4.1.2 Matplotlib绘图基本流程 62
4.1.3 中文字符显示 64
4.1.4 坐标轴字符刻度标注 65
4.2 Matplotlib常用图形绘制 67
4.2.1 散点图 68
4.2.2 线性图 69
4.2.3 柱状图 70
4.2.4 直方图 71
4.2.5 饼图 72
4.2.6 箱线图 72
4.2.7 子图 73
本章小结 76
本章练习 76

第5章 数据预处理与特征工程 76
5.1 重复数据处理 77
5.2 数据的合并与关联 77
5.2.1 基于数据框的合并 77
5.2.2 基于数据框的关联 78
5.3 时间格式处理与日期元素提取 79
5.3.1 时间处理函数 79
5.3.2 时间元素提取 80
5.4 映射与离散化 82
5.5 滚动计算与分组统计计算 84
5.5.1 滚动计算 84
5.5.2 分组统计计算 85
5.7 样本均衡处理 87
5.7.1 过抽样 87
5.7.2 欠抽样 88
5.8 缺失值处理 88
5.8.1 单变量插值填充 88
5.8.2 多变量插值填充 90
5.8.3 K最近邻插值填充 92
5.9 数据规范化 93
5.9.1 均值-方差规范化 93
5.9.2 极差规范化 95
5.10 特征组合与特征选择 96
5.10.1 基于主成分分析的特征组合 96
5.10.2 特征选择 103
本章小结 110
本章练习 110

第6章 机器学习模型与实现 112
6.1 线性回归 113
6.1.1 一元线性回归 113
6.1.2 多元线性回归 115
6.1.3 Python线性回归应用举例 116
6.2 逻辑回归 118
6.2.1 逻辑回归模型 119
6.2.2 Python逻辑回归模型应用举例 119
6.3 神经网络 120
6.3.1 神经网络模拟思想 121
6.3.2 神经网络结构及数学模型 122
6.3.3 Python神经网络分类应用举例 123
6.3.4 Python神经网络回归应用举例 124
6.4 支持向量机 125
6.4.1 支持向量机原理 125
6.4.2 Python支持向量机应用举例 126
6.5 K-均值聚类 128
6.5.1 K-均值聚类的基本原理 129
6.5.2 Python K-均值聚类算法应用举例 131
6.6 关联规则 134
6.6.1 关联规则概念 134
6.6.2 布尔关联规则挖掘 135
6.6.3 一对一关联规则挖掘及Python实现 136
本章小结 138
本章练习 138

第7章 集成学习模型与实现 142
7.1 集成学习的概念 143
7.1.1 集成学习的基本原理 143
7.1.2 个体学习器对集成学习模型性能的影响 143
7.1.3 集成学习的结合策略 145
7.1.4 集成学习的类型 146
7.2 Bagging算法 146
7.2.1 Bagging算法的基本原理 146
7.2.2 Bagging算法的Sklearn实现 147
7.2.3 Bagging算法的应用举例 147
7.3 随机森林算法 149
7.3.1 随机森林算法的基本原理 149
7.3.2 随机森林算法的Sklearn实现 150
7.3.3 Python随机森林算法的应用举例 150
7.4 Boosting算法 152
7.5 AdaBoost算法 152
7.5.1 AdaBoost算法的基本原理 152
7.5.2 AdaBoost算法的Sklearn实现 154
7.5.3 AdaBoost算法的应用举例 154
7.6 GBDT算法 157
7.6.1 GBDT算法的基本原理 157
7.6.2 GBDT算法的Sklearn实现 157
7.6.3 GBDT算法的应用举例 158
7.7 XGBoost算法 160
7.7.1 XGBoost算法的基本原理 160
7.7.2 XGBoost算法的Sklearn实现 160
7.7.3 XGBOOST算法的应用举例 161
本章小结 163
本章练习 163

第8章 深度学习模型与实现 163
8.1 深度学习简介 164
8.2 深度学习框架简介 164
8.2. 1 Pytorch框架 164
8.2.2 PaddlePaddle框架 165
8.2.3 TensorFlow框架 165
8.3 TensorFlow基础 165
8.3.1 TensorFlow安装 165
8.3.2 TensorFlow命令简介 166
8.3.3 TensorFlow案例 168
8.4 多层神经网络 171
8.4.1 多层神经网络结构及数学模型 172
8.4.2 多层神经网络分类问题应用举例 173
8.4.3 多层神经网络回归问题应用举例 178
8.5 卷积神经网络 185
6.5.1 卷积层计算 186
8.5.2 池化层计算 188
8.5.3 全连接层计算 189
8.5.4 CNN应用案例 190
8.6 循环神经网络 195
8.6.1 RNN结构及数学模型 195
8.6.2 长短期记忆网络(LSTM) 197
8.6.3 RNN应用案例 198
本章小结 202
本章练习 202

第9章 大模型基础与开发平台 202
9.1 大模型基本认识 203
9.2 BERT大语言模型 204
9.2.1 BERT模型开发环境搭建:基于Python和TensorFlow 204
9.2.2 BERT基本概念 206
9.2.3 BERT输入 206
9.2.4 BERT输出 208
9.2.5 BERT特征提取与文本相似度计算 208
9.2.6 BERT下游微调任务之分类 209
9.2.7 BERT下游微调任务之问答 210
9.2.8 BERT下游微调模型保存与加载 211
9.3 DeepSeek开发平台及V3和R1大模型调用实例 211
9.3.1 DeepSeek Python SDK与OpenAI接口包安装 211
9.3.2 DeepSeek-V3调用实例 212
9.3.3 DeepSeek-R1调用实例 213
9.4 百度千帆大模型平台及应用实例 214
9.4.1 Python SDK安装 214
9.4.2 安全认证AK/SK鉴权 215
9.4.3 文心系列大语言模型应用实例 215
9.4.4 Stable-Diffusion-XL模型应用实例:图像生成 216
9.4.5 Fuyu-8B模型应用实例:图像理解 217
9.4.6 基于Fuyu-8B模型与OpenCV的拓展应用实例:视频理解 218
9.5 阿里云百炼大模型平台及应用实例 221
9.5.1 Python SDK安装 221
9.5.2 创建API-KEY 222
9.5.3 基于通义千问ASR的本地录音文件识别:语音转文字 223
9.5.4 基于通义Paraformer的实时语音识别:实时语音转文字 225
9.5.5 基于sambert语音合成:文字转语音 227
本章小结 228
本章练习 228

第 10章 BERT与DeepSeek大模型微调应用案例 230
10.1 BERT大语言模型本地微调实现中文阅读理解 230
10.1.1 案例介绍 230
10.1.2 数据解读 230
10.1.3 数据解析 231
10.1.4 长文本截断处理 233
10.1.5 答案在截断文本中的开始位置和结束位置获取 236
10.1.6 BERT输入参数及开始位置、结束位置标签构造 237
10.1.7 BERT微调模型的训练集、验证集和测试集构造 239
10.1.8 BERT微调模型编译、训练与保存 240
10.1.9 BERT微调模型加载及应用 241
10.2 BERT大语言模型云服务器微调实现中文阅读理解 241
10.2.1 AutoDL云服务器资源租赁 242
10.2.2 开发环境搭建 243
10.2.3 数据和依赖文件上传 244
10.2.4 微调训练 245
10.2.5 微调模型应用 249
10.3 百度千帆大模型平台微调DeepSeek-R1实现中医问答 250
10.3.1 平台基本认识 250
10.3.2 数据集准备 250
10.3.3 数据集创建 251
10.3.4 模型微调训练 252
10.3.5 模型部署 254
10.3.6 模型应用 255
本章小结 257
本章练习 258
第 11章 基于集成学习的发动机燃油喷射与排放预测 258
11.1 基于梯度提升树模型的发动机燃油喷射量预测 258
11.1.1 案例目标及实现思路 259
11.1.2 数据获取与探索 259
11.1.3 模型建立与实现 261
11.1.4 结果分析 262
11.2 基于MPA-LightGBM的发动机CO、HC和NOx排放预测 264
11.2.1 案例目标及实现思路 264
11.2.2 数据获取与探索 265
11.2.3 LightGBM模型框架简介 268
11.2.4 MPA的原理和实现 269
11.2.5 基于MPA-LightGBM模型的发动机排放预测 273
11.2.6 结果分析 275
本章小结 277
本章练习 277

第 12章 基于机器学习与深度学习模型的水色图像水质评价 279
12.1 案例背景 280
12.2 案例目标及实现思路 280
12.3 数据获取与探索 280
12.4 支持向量机分类识别模型 282
12.4.1 颜色特征计算方法 282
12.4.2 自变量与因变量计算 283
12.4.3 模型实现 285
12.5 卷积神经网络分类识别模型:灰图 286
12.5.1 数据处理 286
12.5.2 模型实现 288
12.6 卷积神经网络识别模型:彩图 290
12.6.1 数据处理 290
12.6.2 模型实现 292
本章小结 293
本章练习 293

第 13章 基于大模型的AI作画与Streamlit web应用部署 294
13.1 基于大模型的AI作画与Streamlit web应用开发 294
13.1.1 streamlit开发环境搭建 295
13.1.2 主体页面设计 296
13.1.3 主体页面程序实现 297
13.1.4 绘图事件函数定义 298
13.1.5 Streamlit web开发 299
13.2 基于百度飞浆AI studio星河社区的Streamlit Web应用部署 300
13.3 基于腾讯云服务器的Streamlit Web应用部署 303
13.3.1 腾讯云服务器的选择及配置 303
13.3.2 创建Xshell链接腾讯云服务器 307
13.3.3 宝塔Linux面板注册和登录 313
13.3.4 宝塔Linux面板安装环境依赖 316
13.3.5 项目文件上传与Web部署 317
本章小结 325
本章练习 325


第 14章 基于扣子平台和DeepSeek大模型的智能体开发 326
14.1 大模型应用前沿与发展动态 326
14.2 大模型应用前沿:AI智能体 327
14.2.1 AI智能体概念及应用前景 327
14.2.2 AI智能体开发流程:以扣子平台为例 329
14.2.3 基于Deepseek-V3和R1的AI智能体开发 332
本章小结 347
本章练习 347

读者评论

赶紧抢沙发哦!

我要评论

作者介绍

黄恒秋,2011年7月-2014年6月就职于深圳市国泰安信息技术有限公司,从事CSMAR数据库分析师、量化分析研究、软件策划及设计相关工作。2014年9月至今,广西民族师范学院数学与计算机科学学院专任教师,高级实验师、副教授,从事大数据分析与挖掘、金融数据挖掘、数学建模等相关课程教学工作。发表中文核心期刊论文3篇,其中EI源刊1篇。出版大数据分析相关专业教材3部,人民邮电出版社优秀作者,2024年广西优秀教材获得者,主持教育部产学研协同育人项目和省级教改项目3项,基于头歌实践教学平台建设教材配套的在线智慧实验课程3门。作为组织者和主要完成人荣获广西高等教育教学成果奖二等奖,指导学生参加互联网+创新创业大赛、挑战杯竞赛、数据挖掘竞赛、数学建模竞赛、计算机设计大赛、人工智能竞赛等获省部级以上奖励50余项。

相关图书

人邮微信
本地服务
教师服务
教师服务
读者服务
读者服务
返回顶部
返回顶部