大数据采集、预处理与可视化（微课版）-图书-人邮教育社区

特别说明

🍀谭建荣院士倾情作序推荐的大数据应用型教材，理论与工程并重，融合丰富应用案例，注重培养实战型人才。

🍀荣获中国通信工业协会“全国计算机类优秀教材”一等奖。

🍀【微课视频】二维码获取链接：https://www.ryjiaoyu.com/file/resource/179183189130043092230187183173228126251222162091

🌟【本书特色】🌟
（1）思政浸润，强化“价值引领、责任塑造”的素养培育
秉持“盐溶于水”的思政融入理念，将隐私保护、数据伦理、科技报国等课程思政元素自然嵌入技术知识点与案例教学中。结合网上法庭等典型案例，引导学生理解大数据技术在社会治理、公共服务中的责任，培养兼具精湛技艺与强烈社会责任感的大数据工匠精神。不仅追求代码优雅、算法高效，更追求技术向善、造福社会。
（2）构建“立体化”内容体系，突破传统“碎片化”知识编排
构建“纸质+数字”立体化资源体系，配套微课视频、课件、源代码、数据集、习题集等多种资源，通过二维码实现双资源深度融合，支持混合式教学，动态更新链接破解纸质教材固化难题，贴合教改趋势。改变传统教材将数据采集、预处理、可视化等环节割裂讲授的模式，有机整合三大核心模块，避免知识碎片化，提升学习连贯性。
（3）打造“低门槛、强适配”学习路径，赋能多元学习需求
充分考量不同读者的基础差异与学习场景，打破同类教材对大数据平台综合应用技能的过高要求，降低学习门槛，适配计算机、统计等多个专业的课堂教学，同时满足学生自主学习、职场人士技能提升等多元需求。聚焦数据采集、预处理、可视化核心能力，精准筛选并讲解关键技术、方法与应用场景，规避冗余知识点。通过案例驱动的讲解逻辑，将晦涩理论转化为浅显易懂的内容，构建有趣味、讲实效、易上手的学习体验，助力不同基础读者高效掌握核心技能。
（4）院士引领，校企“双元”深度合作，扎实保障教材质量
教材由深耕教育20余载的大学一线教师设计与主编，团队长期从事大数据技术相关教学和科研工作，具有丰富的教学经验和深厚的学术造诣。谭建荣院士参与了教材开发过程，为教材建言献策并作序。同时，与重庆信息通信咨询设计院正高级工程师合作编写，深度融合行业发展动态，强化“产业场景驱动”实践设计，破解理论与实践脱节难题，确保内容与时俱进，实现学以致用。

内容摘要

🌟为了适应数字经济时代的新发展趋势，培养新时代大数据专业人才，编者通过总结多年的教学经验，借鉴国内外相关领域的教学优势，详细剖析大数据采集、预处理与可视化的基础理论、关键技术、相关工具和应用案例，进而编成本书。
🌟本书是集理论与实践于一体的应用型教材。全书共7章，包括大数据概述、Python程序设计、大数据采集、大数据预处理技术、Excel数据获取与预处理、Python数据预处理、数据可视化技术。本书在编写中着重介绍基本原理，同时突出工程应用，并以清晰、容易理解的方式展现大数据采集、预处理与可视化的基础知识、基本任务、常用方法、实用场景和主要流程，力图做到基本概念准确、阐述条理清晰、主体内容精练、重点难点突出、理论联系实际。此外，本书还将反映相关领域新技术的发展情况。
🌟本书可作为计算机、人工智能、大数据、电子商务、电气、电子、统计学、会计学等相关专业的大数据技术类课程的教材，也可供相关领域的科技人员参考使用，还可作为数据分析及应用类认证培训课程用书。

诚邀您加入【人邮社大数据教师交流群】

【章名目录】
第1章　大数据概述
第２章　Python程序设计
第３章　大数据采集
第４章　大数据预处理技术
第５章　Excel数据获取与预处理
第６章　Python数据预处理
第７章　数据可视化技术

【详细目录】
第1章　大数据概述
1.1 大数据时代　1
1.2 大数据的相关概念及特征　2
1.2.1 大数据的概念　2
1.2.2 大数据的发展历程　3
1.2.3 大数据的特征　5
1.2.4 大数据的作用　6
1.2.5 大数据的应用领域　7
1.2.6 大数据的关键技术　8
1.3 大数据系统简介　9
1.3.1 Hadoop生态系统　9
1.3.2 Spark生态系统　12
1.4 大数据思维　15
1.4.1 传统思维方式　15
1.4.2 大数据思维方式　16
1.5 大数据伦理　17
1.5.1 大数据伦理的由来　17
1.5.2 大数据的伦理问题　18
1.5.3 大数据的伦理原则　21
1.6 大数据安全　22
1.6.1 数据全生命周期安全　22
1.6.2 大数据安全防护技术　23
1.7 本章小结　24
1.8 习题　24

第２章　Python程序设计
2.1 Python的安装与运行　25
2.1.1 Python的特点　25
2.1.2 Python的下载与安装　26
2.1.3 Python程序的运行　27
2.1.4 第三方软件包的安装　29
2.1.5 Python编程规范　31
2.2 数据类型与运算符　33
2.2.1 数字和字符串　33
2.2.2 列表和元组　38
2.2.3 字典和集合　42
2.2.4 运算符　44
2.3 程序控制结构　47
2.3.1 程序流程图　47
2.3.2 顺序结构　48
2.3.3 选择结构　49
2.3.4 循环结构　51
2.4 函数与模块　54
2.4.1 函数的使用　54
2.4.2 函数的参数传递　55
2.4.3 全局变量与局部变量　57
2.4.4 匿名函数　58
2.4.5 模块　59
2.5 文件　60
2.5.1 文件的打开与关闭　60
2.5.2 文件的读取与写入　62
2.5.3 文件的定位　63
2.6 本章小结　63
2.7 习题　64

第３章　大数据采集
3.1 大数据采集概述　65
3.1.1 大数据采集的概念　65
3.1.2 大数据采集的数据源　66
3.1.3 大数据采集方法　67
3.1.4 大数据采集平台　69
3.2 网络爬虫技术　71
3.2.1 网络爬虫概述　72
3.2.2 常用网络爬虫方法　72
3.2.3 网页数据采集的实现　75
3.2.4 常用网络爬虫工具　78
3.2.5 电影评论爬取　82
3.3 数据抽取技术　85
3.3.1 数据抽取概述　85
3.3.2 Kettle简介与其安装　86
3.3.3 文本数据抽取　87
3.3.4 网页数据抽取　89
3.4 案例：网络租房信息采集　91
3.4.1 网络爬虫采集数据　91
3.4.2 抽取租房信息　94
3.5 本章小结　96
3.6 习题　96

第４章　大数据预处理技术
4.1 数据预处理概述　97
4.1.1 数据质量　97
4.1.2 数据预处理的主要任务　99
4.2 数据清洗　99
4.2.1 缺失值处理方法　99
4.2.2 噪声数据处理方法　101
4.2.3 冗余数据处理方法　105
4.2.4 数据格式与内容处理方法　106
4.3 数据集成　106
4.3.1 实体识别问题　106
4.3.2 冗余问题　107
4.3.3 数据值冲突的检测与处理　109
4.4 数据变换　110
4.4.1 数据规范化　110
4.4.2 通过离散化变换数据　112
4.5 数据归约　113
4.5.1 过滤法　114
4.5.2 包装法　115
4.5.3 嵌入法　116
4.6 数据脱敏　117
4.6.1 数据脱敏类型　117
4.6.2 数据脱敏方法　118
4.7 案例：汽车行驶工况数据预处理　119
4.7.1 案例背景　119
4.7.2 数据描述　119
4.7.3 数据预处理　120
4.8 本章小结　124
4.9 习题　125

第５章　Excel数据获取与预处理
5.1 Excel数据获取　126
5.1.1 获取文本数据　126
5.1.2 获取网站数据　128
5.1.3 获取数据库中的数据　130
5.2 Excel数据清洗与转换　132
5.2.1 常用数据分析函数　132
5.2.2 删除重复行　136
5.2.3 文本查找与替换　137
5.2.4 字符串截取　139
5.2.5 数据的转置　140
5.2.6 数据的查询和引用　140
5.2.7 字母与数字的转换　142
5.3 Excel数据抽取与合并　143
5.3.1 值的抽取　144
5.3.2 数据合并　146
5.3.3 字段合并　147
5.4 案例：房价行情的对比分析　148
5.4.1 数据获取　148
5.4.2 数据预处理与分析　149
5.5 本章小结　151
5.6 习题　151

第６章　Python数据预处理
6.1 Python数据预处理基础　153
6.1.1 科学计算库NumPy　153
6.1.2 数据分析库pandas　160
6.2 数据的分组、分割、合并和变形　168
6.2.1 数据分组　168
6.2.2　数据分割　171
6.2.3　数据合并　172
6.2.4 数据变形　175
6.3 缺失值、异常值和重复值处理　177
6.3.1 缺失值处理　177
6.3.2 异常值处理　181
6.3.3 重复值处理　185
6.4 时间序列数据处理　185
6.4.1 时间序列的基本操作　186
6.4.2 固定频率的时间序列　187
6.4.3 时间周期及其计算　188
6.5 文本数据分析　189
6.5.1 字符串处理方法　189
6.5.2 文本数据分析工具　191
6.5.3　正则表达式　194
6.5.4 文本预处理　196
6.6 案例：IMDb5000电影数据预处理　199
6.6.1 数据分析及代码实现　199
6.6.2 完整代码　201
6.7 本章小结　203
6.8 习题　203

第７章　数据可视化技术
7.1 数据可视化概述　205
7.1.1 数据可视化的定义　205
7.1.2 数据可视化的发展历程　206
7.1.3 数据可视化的作用　211
7.2 数据可视化的理论基础　212
7.2.1 数据可视化的流程　212
7.2.2 数据可视化的设计要素　213
7.2.3 数据可视化的基础图表　216
7.2.4 数据可视化的常见工具　219
7.3 Python数据可视化方法　221
7.3.1 Matplotlib绘制基础图表　221
7.3.2 seaborn绘制统计图　229
7.3.3 wordcloud绘制词云图　254
7.3.4 NetworkX绘制网络图　257
7.3.5 案例：重庆公开庭审数据可视化　260
7.4 pyecharts数据可视化方法　265
7.4.1 pyecharts简介　265
7.4.2 pyecharts应用　266
7.4.3 案例：2020年东京奥运会奖牌看板　267
7.5 本章小结　278
7.6 习题　279

参考文献　280

读者评论

赶紧抢沙发哦！

我要评论

出版信息

书　　名：大数据采集、预处理与可视化（微课版）
执行编辑：本书的内容有任何问题，请联系人邮社王宣
出版日期：2023-07-01
书　　号：978-7-115-61435-3
作　　者： 葛继科、张晓琴、陈祖琴
定　　价：69.80 元
页　　数：279
印刷方式：黑白印刷
开　　本：16开
出版状态：上市销售

作者介绍

✨葛继科✨
西南大学博士，加拿大麦吉尔大学博士后出站，重庆科技学院教授，硕士研究生导师。主要从事人工智能、大数据应用、网络安全等方面的教学与研究工作。主讲课程包括：大数据平台与应用、大数据分析与挖掘、大数据采集与优化、人工智能、计算机网络、网络安全技术等。主持省部级教学质量工程项目1项，主持省部级教改重点项目2项、一般项目1项、教育部产学合作育人项目9项、校级教改项目4项，发表教改论文8篇。获省部级教学成果二等奖1项、校级教学成果二等奖2项。主持省部级科研项目7项，参与国家级科研项目3项、省部级5项；发表学术论文30余篇，其中SCI收录4篇、EI收录20篇、中文核心3篇，授权发明专利6项。出版教学著作《计算机网络安全技术应用探究》1部，主编《油田大数据应用技术》（石油工业出版社，2021年）、《量子人工智能引论》（西南师范大学出版社，2021年）等学术著作。