大数据导论（第2版）（微课版）-图书-人邮教育社区

内容摘要

本书对大数据知识体系进行了全面且深入的总结与讲解。内容涵盖大数据概述，深入剖析大数据的来源、定义、数据特征、类型、价值及发展趋势；探讨大数据与云计算、物联网的紧密关系，包括云计算的多种部署模式和服务模式，以及它们与大数据在体系架构方面的关联；从产业结构出发，详细阐述大数据技术，如采集、预处理、可视化等技术；介绍大数据的硬件架构——集群，以及开发与计算技术、存储技术。此外，书中还聚焦大数据分析，包含多种数据分析技术及基于机器学习的分析方法，同时探讨大数据与人工智能的关系、人工智能核心技术及应用。在大数据安全与治理方面，介绍了安全面临的挑战、技术手段以及数据治理的相关内容。
本书可以作为高等院校计算机、软件工程、数据科学与大数据技术等专业大数据导论课程的教材，也可作为普通读者了解大数据及其相关技术的参考书。

第 1 章大数据概述
1.1 什么是大数据................................................ 1
1.1.1 大数据的来源........................................1
1.1.2 大数据的定义........................................4
1.1.3 从信息技术转向数据技术....................4
1.2 大数据的特征及对科学研究的影响.............. 5
1.2.1 大数据的特征........................................5
1.2.2 大数据对科学研究的影响....................6
1.3 大数据的类型................................................ 8
1.4 大数据的价值及相关技术........................... 10
1.4.1 大数据的可用性及衍生价值 ............ 10
1.4.2 大数据存储及处理技术..................... 11
1.5 大数据的发展趋势...................................... 11
习题 ..................................................................... 13
第 2 章大数据与云计算
2.1 云计算概述................................................. 14
2.1.1 云计算的提出..................................... 14
2.1.2 云计算的定义..................................... 15
2.1.3 云计算的概念模型............................. 16
2.1.4 云计算的特点..................................... 16
2.2 云计算的主要部署模式............................... 17
2.2.1 公有云................................................. 18
2.2.2 私有云................................................. 18
2.2.3 混合云..................................................19
2.2.4 社区云..................................................19
2.3 云计算的主要服务模式............................... 20
2.3.1 基础设施即服务.................................20
2.3.2 平台即服务..........................................22
2.3.3 软件即服务..........................................22
2.3.4 3 种服务模式之间的关系..................22
2.4 云计算与大数据体系架构的关系................ 23
2.4.1 云计算基础设施—
Google 平台.......................................23
2.4.2 大数据基础设施—
Hadoop 平台......................................24
2.5 物联网和云计算延伸概念........................... 25
2.5.1 认识物联网..........................................25
2.5.2 边缘计算..............................................26
2.5.3 雾计算..................................................27
2.5.4 隐私计算..............................................27
2.5.5 物联网、大数据和云计算
之间的关系.........................................28
习题...................................................................... 28
第 3 章从产业结构来探索大数据技术
3.1 大数据产业结构概述................................... 29
3.2 大数据的解决方案...................................... 30
3.2.1 大数据的产生、采集与处理方式.............................................31
3.2.2 大数据处理的基本流程及
相应技术............................................. 32
3.3 大数据采集技术..........................................35
3.3.1 大数据采集概述................................. 35
3.3.2 日志采集系统—Flume ..................... 36
3.3.3 消息采集系统—Kafka....................... 37
3.3.4 Scrapy 网络爬虫框架........................ 38
3.4 大数据预处理技术......................................40
3.4.1 数据预处理......................................... 41
3.4.2 数据清洗............................................. 42
3.4.3 数据集成............................................. 43
3.4.4 数据归约............................................. 44
3.5 数据可视化技术..........................................45
3.5.1 数据可视化的概念............................. 45
3.5.2 常见数据可视化图表......................... 46
3.5.3 大数据可视化工具............................. 49
3.5.4 大数据可视化技术的
发展方向............................................. 50
习题......................................................................51
第 4 章大数据的硬件架构——集群
4.1 大数据产业结构概述...................................52
4.1.1 并行计算机的发展............................. 52
4.1.2 计算机食物链..................................... 55
4.2 集群与大数据技术......................................56
4.3 集群系统的概念及分类...............................58
4.3.1 集群系统的基本概念......................... 58
4.3.2 集群系统的分类................................. 59
4.4 集群的结构模型..........................................60
4.5 集群文件系统..............................................61
4.6 集群的容器化技术......................................63
习题......................................................................64
第 5 章大数据开发与计算技术
5.1 Hadoop—分布式大数据系统.....................65
5.1.1 Hadoop 概述......................................65
5.1.2 Hadoop 架构......................................66
5.1.3 Hadoop 生态系统..............................70
5.2 Spark—大规模数据实时处理系统..............71
5.2.1 Spark 概述 ..........................................71
5.2.2 弹性分布式数据集.............................75
5.2.3 Spark 扩展功能..................................76
5.3 Storm—基于拓扑的流数据实时
计算系统.....................................................78
5.3.1 Storm 概述..........................................78
5.3.2 Storm 的组成结构..............................79
5.3.3 Storm-Yarn 概述.................................80
5.4 Flink——分布式实时处理引擎....................81
5.4.1 Flink 概述............................................81
5.4.2 Flink 的基本框架和原理....................81
5.4.3 Flink 的运行架构................................83
5.5 Hadoop、Spark、Storm 与
Flink 的比较................................................85
习题......................................................................87
第 6 章大数据存储技术
6.1 数据存储概述..............................................88
6.2 分布式文件系统..........................................90
6.2.1 分布式文件系统的设计思路.............90
6.2.2 早期的分布式文件系统.....................92
6.2.3 大数据环境下分布式文件系统的优化思路.............................................92
6.3 结构化大数据的存储—Hive ..........................94
6.3.1 Hive 简介............................................ 94
6.3.2 Hive 架构............................................ 94
6.3.3 Hive 数据模型与存储........................ 96
6.4 半结构化大数据的存储—HBase................ 97
6.4.1 HBase 简介........................................ 97
6.4.2 HBase 数据模型................................ 97
6.4.3 存储架构............................................. 99
6.5 云存储技术............................................... 105
6.5.1 云存储的概念及特性....................... 105
6.5.2 云存储系统的结构模型................... 106
6.5.3 云存储的应用................................... 108
习题 ................................................................... 109
第 7 章大数据分析
7.1 大数据分析的重要性及认识数据.............. 110
7.1.1 大数据分析的重要性....................... 110
7.1.2 认识数据........................................... 111
7.2 统计数据分析............................................ 113
7.3 Excel 数据分析技术.................................. 115
7.3.1 Excel 数据分析概述........................ 115
7.3.2 使用 Excel 工具和函数进行数据分析........................................... 116
7.4 Power BI 数据分析技术............................ 117
7.4.1 Power BI 数据分析概览.................. 117
7.4.2 Power BI 基本操作.......................... 118
7.5 使用 NumPy 与 Pandas 进行数据分析................................................... 118
7.5.1 库功能概述....................................... 118
7.5.2 核心数据结构................................... 119
7.5.3 数据操作与分析............................... 119
7.6 基于机器学习的数据分析......................... 120
7.6.1 机器学习简介................................... 120
7.6.2 机器学习的主要用途....................... 122
7.6.3 机器学习的分类...............................123
7.6.4 分类分析............................................124
7.7 基于图、自然语言的数据分析..................127
7.7.1 基于图的数据分析...........................127
7.7.2 基于自然语言的数据分析...............128
7.8 基于大模型的数据分析.............................129
7.8.1 AIGC..................................................129
7.8.2 DeepSeek.........................................130
7.8.3 ChatGPT ...........................................131
习题....................................................................132
第 8 章大数据与人工智能
8.1 人工智能的概念及分类.............................134
8.2 人工智能的发展史....................................137
8.3 限制人工智能发展的因素.........................139
8.4 大数据与人工智能的关系.........................140
8.5 人工智能核心技术概述.............................142
8.5.1 深度学习............................................142
8.5.2 卷积神经网络....................................143
8.5.3 图像处理............................................144
8.6 人工智能核心技术应用.............................144
8.7 生成对抗网络的创新应用.........................146
8.8 大模型的影响与应用.................................147
习题....................................................................148
第 9 章大数据安全与治理
9.1 大数据安全概述........................................149
9.1.1 大数据安全的定义和重要性...........149
9.1.2 大数据安全面临的挑战...................150
9.1.3 大数据安全的基本原则...................151
9.2 数据安全技术.............................152
9.2.1 访问控制与认证............................... 152
9.2.2 数据完整性保护............................... 155
9.2.3 入侵检测与防御............................... 158
9.2.4 数据备份与恢复............................... 162
9.3 数据治理...................................................165
9.3.1 数据治理的定义与目标................... 165
9.3.2 数据治理框架................................... 166
9.3.3 数据质量管理...................................169
9.4 大数据安全与治理的未来发展..................171
9.4.1 新兴技术对大数据安全的影响 ...................................................171
9.4.2 大数据安全与治理的未来趋势 ...................................................172
习题....................................................................172

读者评论

赶紧抢沙发哦！

我要评论

出版信息

书　　名：大数据导论（第2版）（微课版）
执行编辑：本书的内容有任何问题，请联系人邮韦雅雪
书　　号：978-7-115-68101-0
作　　者： 安俊秀
定　　价：59.80 元
页　　数：209
印刷方式：黑白印刷
开　　本：16开
出版状态：正在审校

作者介绍

安俊秀，成都信息工程大学教授，硕士生导师，高级访问学者。软件自动生成与智能服务四川省重点实验室学术带头人（领域知识本体和大数据方向），并行计算与大数据研究所负责人。安俊秀教授一直工作在教学一线，近5年教学工作量合计为1060学时，超额完成任务，主讲课程有：云计算与大数据、人工智能技术与应用、Python程序设计等，教学质量评价均为优。多次作为主讲嘉宾参与高水平的培训讲座，积极将最新科研成果与行业趋势融入课堂，显著提升了教学质量与成效。近五年编著或参与完成专著或教材11部，均由国家级出版社出版，且主要方向为AI与大数据，在社科、教育、文化、出版等社会领域取得创新性、突破性成果。其中，《Hadoop大数据处理技术基础与实践（第2版）（微课版）》获国家“十四五”规划教材殊荣。安俊秀教授深化产学研融合，积极投身产业服务，与四川赛科安全技术有限公司实现技术合作，成功将教研成果应用于消防火灾自动报警系统及安全监控领域，助力企业实现年度营业收入的大幅增长。荣获省科技进步奖、省社科奖等多项荣誉。