第 1 章 大数据概述
1.1 什么是大数据................................................ 1
1.1.1 大数据的来源........................................1
1.1.2 大数据的定义........................................4
1.1.3 从信息技术转向数据技术....................4
1.2 大数据的特征及对科学研究的影响.............. 5
1.2.1 大数据的特征........................................5
1.2.2 大数据对科学研究的影响....................6
1.3 大数据的类型................................................ 8
1.4 大数据的价值及相关技术........................... 10
1.4.1 大数据的可用性及衍生价值 ............ 10
1.4.2 大数据存储及处理技术..................... 11
1.5 大数据的发展趋势...................................... 11
习题 ..................................................................... 13
第 2 章 大数据与云计算
2.1 云计算概述................................................. 14
2.1.1 云计算的提出..................................... 14
2.1.2 云计算的定义..................................... 15
2.1.3 云计算的概念模型............................. 16
2.1.4 云计算的特点..................................... 16
2.2 云计算的主要部署模式............................... 17
2.2.1 公有云................................................. 18
2.2.2 私有云................................................. 18
2.2.3 混合云..................................................19
2.2.4 社区云..................................................19
2.3 云计算的主要服务模式............................... 20
2.3.1 基础设施即服务.................................20
2.3.2 平台即服务..........................................22
2.3.3 软件即服务..........................................22
2.3.4 3 种服务模式之间的关系..................22
2.4 云计算与大数据体系架构的关系................ 23
2.4.1 云计算基础设施—
Google 平台.......................................23
2.4.2 大数据基础设施—
Hadoop 平台......................................24
2.5 物联网和云计算延伸概念........................... 25
2.5.1 认识物联网..........................................25
2.5.2 边缘计算..............................................26
2.5.3 雾计算..................................................27
2.5.4 隐私计算..............................................27
2.5.5 物联网、大数据和云计算
之间的关系.........................................28
习题...................................................................... 28
第 3 章 从产业结构来探索大数据技术
3.1 大数据产业结构概述................................... 29
3.2 大数据的解决方案...................................... 30
3.2.1 大数据的产生、采集与处理方式.............................................31
3.2.2 大数据处理的基本流程及
相应技术............................................. 32
3.3 大数据采集技术..........................................35
3.3.1 大数据采集概述................................. 35
3.3.2 日志采集系统—Flume ..................... 36
3.3.3 消息采集系统—Kafka....................... 37
3.3.4 Scrapy 网络爬虫框架........................ 38
3.4 大数据预处理技术......................................40
3.4.1 数据预处理......................................... 41
3.4.2 数据清洗............................................. 42
3.4.3 数据集成............................................. 43
3.4.4 数据归约............................................. 44
3.5 数据可视化技术..........................................45
3.5.1 数据可视化的概念............................. 45
3.5.2 常见数据可视化图表......................... 46
3.5.3 大数据可视化工具............................. 49
3.5.4 大数据可视化技术的
发展方向............................................. 50
习题......................................................................51
第 4 章 大数据的硬件架构——集群
4.1 大数据产业结构概述...................................52
4.1.1 并行计算机的发展............................. 52
4.1.2 计算机食物链..................................... 55
4.2 集群与大数据技术......................................56
4.3 集群系统的概念及分类...............................58
4.3.1 集群系统的基本概念......................... 58
4.3.2 集群系统的分类................................. 59
4.4 集群的结构模型..........................................60
4.5 集群文件系统..............................................61
4.6 集群的容器化技术......................................63
习题......................................................................64
第 5 章 大数据开发与计算技术
5.1 Hadoop—分布式大数据系统.....................65
5.1.1 Hadoop 概述......................................65
5.1.2 Hadoop 架构......................................66
5.1.3 Hadoop 生态系统..............................70
5.2 Spark—大规模数据实时处理系统..............71
5.2.1 Spark 概述 ..........................................71
5.2.2 弹性分布式数据集.............................75
5.2.3 Spark 扩展功能..................................76
5.3 Storm—基于拓扑的流数据实时
计算系统.....................................................78
5.3.1 Storm 概述..........................................78
5.3.2 Storm 的组成结构..............................79
5.3.3 Storm-Yarn 概述.................................80
5.4 Flink——分布式实时处理引擎....................81
5.4.1 Flink 概述............................................81
5.4.2 Flink 的基本框架和原理....................81
5.4.3 Flink 的运行架构................................83
5.5 Hadoop、Spark、Storm 与
Flink 的比较................................................85
习题......................................................................87
第 6 章 大数据存储技术
6.1 数据存储概述..............................................88
6.2 分布式文件系统..........................................90
6.2.1 分布式文件系统的设计思路.............90
6.2.2 早期的分布式文件系统.....................92
6.2.3 大数据环境下分布式文件系统的优化思路.............................................92
6.3 结构化大数据的存储—Hive ..........................94
6.3.1 Hive 简介............................................ 94
6.3.2 Hive 架构............................................ 94
6.3.3 Hive 数据模型与存储........................ 96
6.4 半结构化大数据的存储—HBase................ 97
6.4.1 HBase 简介........................................ 97
6.4.2 HBase 数据模型................................ 97
6.4.3 存储架构............................................. 99
6.5 云存储技术............................................... 105
6.5.1 云存储的概念及特性....................... 105
6.5.2 云存储系统的结构模型................... 106
6.5.3 云存储的应用................................... 108
习题 ................................................................... 109
第 7 章 大数据分析
7.1 大数据分析的重要性及认识数据.............. 110
7.1.1 大数据分析的重要性....................... 110
7.1.2 认识数据........................................... 111
7.2 统计数据分析............................................ 113
7.3 Excel 数据分析技术.................................. 115
7.3.1 Excel 数据分析概述........................ 115
7.3.2 使用 Excel 工具和函数进行数据分析........................................... 116
7.4 Power BI 数据分析技术............................ 117
7.4.1 Power BI 数据分析概览.................. 117
7.4.2 Power BI 基本操作.......................... 118
7.5 使用 NumPy 与 Pandas 进行数据分析................................................... 118
7.5.1 库功能概述....................................... 118
7.5.2 核心数据结构................................... 119
7.5.3 数据操作与分析............................... 119
7.6 基于机器学习的数据分析......................... 120
7.6.1 机器学习简介................................... 120
7.6.2 机器学习的主要用途....................... 122
7.6.3 机器学习的分类...............................123
7.6.4 分类分析............................................124
7.7 基于图、自然语言的数据分析..................127
7.7.1 基于图的数据分析...........................127
7.7.2 基于自然语言的数据分析...............128
7.8 基于大模型的数据分析.............................129
7.8.1 AIGC..................................................129
7.8.2 DeepSeek.........................................130
7.8.3 ChatGPT ...........................................131
习题....................................................................132
第 8 章 大数据与人工智能
8.1 人工智能的概念及分类.............................134
8.2 人工智能的发展史....................................137
8.3 限制人工智能发展的因素.........................139
8.4 大数据与人工智能的关系.........................140
8.5 人工智能核心技术概述.............................142
8.5.1 深度学习............................................142
8.5.2 卷积神经网络....................................143
8.5.3 图像处理............................................144
8.6 人工智能核心技术应用.............................144
8.7 生成对抗网络的创新应用.........................146
8.8 大模型的影响与应用.................................147
习题....................................................................148
第 9 章 大数据安全与治理
9.1 大数据安全概述........................................149
9.1.1 大数据安全的定义和重要性...........149
9.1.2 大数据安全面临的挑战...................150
9.1.3 大数据安全的基本原则...................151
9.2 数据安全技术.............................152
9.2.1 访问控制与认证............................... 152
9.2.2 数据完整性保护............................... 155
9.2.3 入侵检测与防御............................... 158
9.2.4 数据备份与恢复............................... 162
9.3 数据治理...................................................165
9.3.1 数据治理的定义与目标................... 165
9.3.2 数据治理框架................................... 166
9.3.3 数据质量管理...................................169
9.4 大数据安全与治理的未来发展..................171
9.4.1 新兴技术对大数据安全的影响 ...................................................171
9.4.2 大数据安全与治理的未来趋势 ...................................................172
习题....................................................................172