第1章 大数据概述
本章导读 ......................................................................................... 1
1.1 大数据的定义 ........................................................................ 2
1.2 大数据的来源 ........................................................................ 3
1.3 大数据的分类及特性 ............................................................ 4
1.4 大数据的特征 ........................................................................ 6
1.5 大数据时代的新思维和新理念 ............................................ 7
1.6 大数据系统的基础架构 ...................................................... 10
1.6.1 基础支撑服务 .......................................................... 11
1.6.2 数据采集及预处理服务 .......................................... 11
1.6.3 数据存储服务 .......................................................... 11
1.6.4 数据引擎服务 .......................................................... 12
1.6.5 综合应用服务 .......................................................... 13
1.6.6 数据治理体系 .......................................................... 13
1.6.7 数据支撑体系 .......................................................... 14
1.7 大数据系统的技术体系 ...................................................... 14
1.8 本章小结 .............................................................................. 15
拓展阅读 ....................................................................................... 15
本章习题 ....................................................................................... 16
第 2 章 大数据基础设施
本章导读 ....................................................................................... 17
2.1 虚拟化技术 .......................................................................... 18
2.1.1 虚拟化的定义 .......................................................... 18
2.1.2 虚拟化的特征 .......................................................... 19
2.1.3 虚拟化的分类 .......................................................... 20
2.2 云计算技术 .......................................................................... 23
2.2.1 云计算的定义 .......................................................... 23
2.2.2 云计算的特点 .......................................................... 24
2.2.3 云计算的技术架构 .................................................. 25
2.2.4 云计算的部署模式 .................................................. 26
2.2.5 云计算平台的功能 .................................................. 28
2.3 Hadoop 分布式系统 ............................................................. 29
2.3.1 Hadoop 的简介 ......................................................... 29
2.3.2 Hadoop 的发展历史 ................................................. 29
2.3.3 Hadoop 的特点 ......................................................... 30
2.3.4 Hadoop 的版本演进 ................................................. 31
2.3.5 Hadoop 的生态组件 ................................................. 32
2.4 本章小结 .............................................................................. 34
拓展阅读 ....................................................................................... 34
本章习题 ....................................................................................... 36
第 3 章 大数据采集与预处理
本章导读 ....................................................................................... 37
3.1 大数据采集 .......................................................................... 38
3.1.1 大数据数据来源 ...................................................... 39
3.1.2 日志数据采集 .......................................................... 40
3.1.3 网络数据采集 .......................................................... 43
3.1.4 网络旁路数据采集 .................................................. 52
3.2 大数据预处理 ...................................................................... 53
3.2.1 数据预处理概述 ...................................................... 53
3.2.2 数据特征 .................................................................. 54
3.2.3 数据规范化 .............................................................. 55
3.2.4 数据抽取 .................................................................. 56
3.2.5 数据清洗 .................................................................. 57
3.2.6 数据集成 .................................................................. 61
3.2.7 数据转换 .................................................................. 62
3.2.8 数据加载 .................................................................. 63
3.2.9 数据消减 .................................................................. 63
3.3 本章小结 .............................................................................. 64
拓展阅读 ....................................................................................... 65
本章习题 ....................................................................................... 67
第 4 章 大数据的存储与分布式文件系统
本章导读 ....................................................................................... 69
4.1 传统存储设备 ...................................................................... 70
4.1.1 机械硬盘 .................................................................. 70
4.1.2 固态硬盘 .................................................................. 71
4.1.3 移动存储介质 .......................................................... 72
4.1.4 传统存储系统 .......................................................... 72
4.2 RAID .................................................................................... 73
4.2.1 RAID 概述 ............................................................... 73
4.2.2 RAID 架构 ............................................................... 74
4.2.3 RAID 0 ..................................................................... 75
4.2.4 RAID 1 ..................................................................... 77
4.2.5 RAID 5 ..................................................................... 78
4.3 HDFS 分布式文件系统 ....................................................... 78
4.3.1 HDFS 的简介 ........................................................... 78
4.3.2 HDFS 的体系架构 ................................................... 80
4.3.3 HDFS 的名称节点与数据节点 ............................... 83
4.3.4 HDFS 的映像文件与事务日志的归并 ................... 85
4.3.5 HDFS 的数据存储特性 ........................................... 86
4.3.6 HDFS 的容错机制 ................................................... 87
4.3.7 HDFS 的高可用机制 ............................................... 88
4.3.8 HDFS 的联邦机制 ................................................... 89
4.4 本章小结 .............................................................................. 90
拓展阅读 ....................................................................................... 91
本章习题 ....................................................................................... 92
第 5 章 大数据的数据库系统
本章导读 ....................................................................................... 93
5.1 NoSQL 数据库 ..................................................................... 94
5.1.1 NoSQL 的特点 ........................................................ 94
5.1.2 NoSQL 的理论基础 ................................................. 96
5.1.3 NoSQL 的类型 ...................................................... 100
5.1.4 NoSQL 的挑战及发展趋势 ................................... 104
5.2 HBase 数据库 ..................................................................... 106
5.2.1 HBase 概述 ............................................................. 106
5.2.2 HBase 的数据模型 ................................................. 106
5.2.3 HBase 的体系架构 ................................................. 109
5.2.4 HBase 的运行机制 ................................................. 112
5.3 数据仓库 ............................................................................ 113
5.3.1 数据仓库概述 ........................................................ 113
5.3.2 Hive ........................................................................ 115
5.3.3 Impala ..................................................................... 117
5.4 本章小结 ............................................................................ 119
拓展阅读 ..................................................................................... 119
本章习题 ..................................................................................... 121
第 6 章 大数据的计算模式
本章导读 ..................................................................................... 123
6.1 大数据计算模式概述 ......................................................... 124
6.2 MapReduce 批处理计算框架 ............................................ 125
6.2.1 MapReduce 的思想 ................................................ 126
6.2.2 MapReduce 的功能函数 ........................................ 127
6.2.3 MapReduce 的体系架构 ........................................ 129
6.2.4 MapReduce 的工作流程 ........................................ 132
6.2.5 MapReduce 的实例 ................................................ 137
6.3 YARN 资源管理 ................................................................. 138
6.3.1 YARN 概述 ............................................................ 138
6.3.2 YARN 的工作流程................................................. 140
6.3.3 YARN 的优势 ........................................................ 141
6.4 Spark 内存并行计算框架 .................................................. 141
6.4.1 Spark 概述 .............................................................. 141
6.4.2 Spark 的生态系统 .................................................. 143
6.4.3 Spark 的体系架构 .................................................. 146
6.4.4 Spark 的运行流程 .................................................. 147
6.4.5 Spark 的弹性分布式数据集 .................................. 149
6.4.6 Spark 交互查询引擎 .............................................. 156
6.5 本章小结 ............................................................................ 157
拓展阅读 ..................................................................................... 157
本章习题 ..................................................................................... 160
第 7 章 大数据分析挖掘与可视化
本章导读 ..................................................................................... 161
7.1 大数据分析挖掘 ................................................................ 161
7.1.1 大数据挖掘概述 .................................................... 161
7.1.2 数据分析与数据挖掘与 ........................................ 163
7.1.3 大数据分析挖掘的特点与挑战 ............................ 164
7.2 数据相似性 ........................................................................ 166
7.2.1 数值属性的相似性度量 ........................................ 167
7.2.2 标称属性的相似性度量 ........................................ 168
7.2.3 文本相似性度量 .................................................... 168
7.3 数据分析挖掘方法 ............................................................ 169
7.4 大数据分析挖掘工具 ........................................................ 170
7.4.1 Weka ....................................................................... 170
7.4.2 Spark MLlib ........................................................... 172
7.5 数据可视化概述 ................................................................ 174
7.5.1 大数据可视化的主要技术进展 ............................ 174
7.5.2 大数据可视化的挑战 ............................................ 175
7.6 数据可视化流程 ................................................................ 177
7.7 数据可视化原则 ................................................................ 178
7.8 数据可视化工具 ................................................................ 179
7.9 时空数据可视化 ................................................................ 180
7.9.1 时变数据可视化 .................................................... 180
7.9.2 空间数据可视化 .................................................... 182
7.10 非时空数据可视化 .......................................................... 182
7.10.1 文本可视化 .......................................................... 182
7.10.2 高维多元数据可视化 .......................................... 182
7.11 数据可视化交互 .............................................................. 184
7.11.1 交互延时 .............................................................. 184
7.11.2 交互相关分类 ...................................................... 184
7.12 本章小结 .......................................................................... 185
拓展阅读 ..................................................................................... 185
本章习题 ..................................................................................... 187
第8章 大数据应用
本章导读 ..................................................................................... 188
8.1 大数据的行业应用 ............................................................. 188
8.2 智慧城市 ............................................................................ 189
8.2.1 智慧城市概述及建设内容 .................................... 189
8.2.2 智能交通与大数据 ................................................ 191
8.2.3 环境监测与大数据 ................................................ 191
8.2.4 城市规划与大数据 ................................................ 192
8.2.5 公共安全与大数据 ................................................ 192
8.3 自动驾驶 ............................................................................ 193
8.3.1 自动驾驶的发展阶段 ............................................ 194
8.3.2 软件定义汽车 ........................................................ 195
8.3.3 车联网与大数据 .................................................... 196
8.3.4 无人驾驶汽车与大数据 ........................................ 198
8.4 本章小结 ............................................................................ 200
拓展阅读 ..................................................................................... 200
本章习题 ..................................................................................... 202
第9章 大数据安全
本章导读 ..................................................................................... 203
9.1 物理安全 ............................................................................ 204
9.1.1 物理安全管理 ........................................................ 204
9.1.2 物理安全技术 ........................................................ 205
9.2 数据安全 ............................................................................ 206
9.2.1 大数据对数据安全的影响 .................................... 206
9.2.2 安全机制 ................................................................ 208
9.3 虚拟化安全 ........................................................................ 209
9.4 安全监管 ............................................................................ 210
9.5 应用安全 ............................................................................ 211
9.6 业务安全 ............................................................................ 211
9.7 大数据保护 ........................................................................ 212
9.8 本章小结 ............................................................................ 212
拓展阅读 ..................................................................................... 213
本章习题 ..................................................................................... 215