大数据技术原理与应用 ——概念、存储、处理、 分析与应用(第3版)

大数据入门教材
分享 推荐 8 收藏 126 阅读 13.0K
林子雨 (作者) 978-7-115-54405-6

关于本书的内容有任何问题,请联系 孙澍

1.大数据教学名师之作;
2.提供丰富的配套资源:建设了高校大数据课程公共服务平台(http://dblab.xmu.edu.cn/post/bigdata-teaching-platform/),为教师教学和学生学习大数据课程提供包括教学大纲、讲义PPT、学习指南、备课指南、实验指南、上机习题、授课视频、技术资料等全方位、一站式免费服务,平台每年访问量超过200万次,累计访问量超过750万次

内容摘要

本书系统介绍了大数据的相关知识,分为大数据基础篇、大数据存储与管理篇、大数据处理与分析篇、大数据应用篇。全书共17章,内容包含大数据的基本概念、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、MapReduce、数据仓库Hive、Spark、流计算、Flink、图计算、数据可视化以及大数据在互联网、生物医学领域和其他行业的应用。本书在Hadoop、HDFS、HBase、MapReduce、Hive、Spark和Flink等重要章节安排了入门级的实践操作,以便读者更好地学习和掌握大数据关键技术。

前言

《大数据技术原理与应用(第 2 版)》于 2017 年 1 月出版。在过去的 3 年里,
大数据技术又获得了新的发展,开源流计算框架 Flink 迅速崛起,在市场上和 Spark
展开了激烈的角逐。与此同时,Hadoop、HBase 和 Spark 也在不断更新升级,一些
编程接口发生了变化。因此,为适应大数据技术的新发展,继续保持本书的先进性
和实用性,我们及时进行了补充和修订。
在结构上,本书依然分为四篇,包括大数据基础篇、大数据存储与管理篇、大
数据处理与分析篇和大数据应用篇。
在大数据基础篇中,第 1 章介绍大数据的基本概念和应用领域,并阐述大数据
与云计算、物联网的相互关系;第 2 章介绍大数据处理架构 Hadoop,并把 Hadoop
版本升级到 3.0。
在大数据存储与管理篇中,第 3 章介绍分布式文件系统 HDFS,在编程实践部
分根据 3.0 版本的 HDFS 进行修订;第 4 章介绍分布式数据库 HBase,在编程实践
部分根据 HBase 2.0 版本的 API 进行修订;第 5 章介绍 NoSQL 数据库,并增加实
验内容;第 6 章介绍云数据库,并删除阿里云 RDS 的实践内容和相关实验。
在大数据处理与分析篇中,第 7 章介绍分布式并行编程模型 MapReduce;第 8
章对 Hadoop 进行再探讨,介绍 Hadoop 的发展演化和一些新特性;第 9 章介绍基
于 Hadoop 的数据仓库 Hive,该章为本书新增内容,很多大数据教师建议增加此章
内容;第 10 章介绍当前比较热门的、基于内存的分布式计算框架 Spark,并把 Spark
版本升级到 2.4.0;第 11 章介绍流计算以及开源流计算框架 Storm;第 12 章介绍开
源流处理框架 Flink,该章为本书新增内容,从而使本书能够反映当前最热门的新
兴大数据技术;第 13 章介绍典型的大数据分析技术——图计算;最后在第 14 章简
单介绍可视化技术。
在大数据应用篇中,用 3 章(第 15 章~第 17 章)内容介绍大数据在互联网、
生物医学领域的应用和其他的典型应用。
本书是厦门大学计算机科学系大数据课程的配套教材,根据近几年的教学实
践,建议安排 32 学时的理论课,16 个教学周,每周 2 学时。每章的具体学时分配
如下:第 1、3、4、5、8、9、11、12、13、15 章每章安排 2 学时;第 2、7、10
章每章安排 4 学时;第 6、14、16、17 章这 4 章内容由学生自学完成。已经建设大
数据教学实验室的高校,可以增加 16 学时的上机实践课。
本书自 2015 年 7 月第 1 版出版以来,得到了越来越多高校一线大数据课程教
师的肯定,目前已经成为众多国内高校的大数据课程开课教材。在本书的使用过程
中,很多老师给我们团队反馈了大量宝贵的意见、建议以及教学过程中遇到的困
惑。比如如何根据自己高校的课时安排,合理选取部分教材章节作为课程内容,
如何搭建上机实验环境(采用分布式还是伪分布式),是否要在教学环节一直使用
最新版本的大数据软件,如何实现不同大数据课程之间的有序衔接,采用什么样的
人民邮电出版社
大数据技术原理与应用—概念、存储、处理、分析与应用(第 3 版)
2
编程语言等。我们团队在自己实际教学经验的基础上,积极为大家答疑解惑,并把相关信息及时
发布到教材官网。同时,我们也建立了“大数据课程教师交流群”(QQ 群号:461510122),为全
国高校大数据一线教师提供在线的沟通交流平台。很多老师都发扬了互帮互助的精神,在群里分
享经验、解答问题。
为了更好地使用本书开展大数据教学,笔者为本书编写了配套的实验手册《大数据基础编程、
实验和案例教程(第 2 版)》(注意,不是第 3 版)。该实验手册侧重于介绍大数据软件的安装、使
用和基础编程方法,并提供了大量实验和案例。大数据软件大多是开源软件,安装过程一般比较
复杂,也很耗费时间。为了尽量减少读者搭建大数据实验环境时的障碍,笔者在实验手册中详细
写出了各种大数据软件的安装过程,可以确保读者顺利完成大数据实验环境搭建。
本书官方网站是 http://dblab.xmu.edu.cn/post/bigdata3/,免费提供了全部配套资源的在线浏览
和下载,并接受错误反馈和发布勘误信息。同时,在学习大数据课程的过程中,欢迎读者访问厦
门大学数据库实验室建设的国内首个高校大数据课程公共服务平台(http://dblab.xmu.edu.cn/
post/bigdata-teaching-platform/),该平台为教师教学和学生学习大数据课程提供教学大纲、讲义
PPT、学习指南、备课指南、实验指南、上机习题、授课视频、技术资料等,提供全方位、一站
式免费服务。
本书由林子雨执笔。在编写第 3 版过程中,厦门大学计算机科学系硕士研究生程璐、林哲、
郑宛玉、陈杰祥、陈绍纬、周伟敬等同学做了大量辅助性工作,在此,向他们表示衷心的感谢。
大数据技术处于快速发展和变革之中,我们厦门大学数据库实验室团队会持续跟踪大数据技
术发展趋势,努力保持本书内容的新颖性,并把一些较新的教学内容及时发布到本书官网。书中
难免存在不足之处,望广大读者不吝赐教。
林子雨
2020 年 10 月于厦门大学计算机科学系数据库实验室

详情页

目录

第 1 章 大数据概述 ...................................2
1.1 大数据时代................................................2
1.1.1 第三次信息化浪潮.............................2
1.1.2 信息科技为大数据时代提供技术
支撑.....................................................3
1.1.3 数据产生方式的变革促成大数据
时代的来临.........................................5
1.1.4 大数据的发展历程.............................6
1.2 大数据的概念............................................8
1.2.1 数据量大.............................................8
1.2.2 数据类型繁多.....................................9
1.2.3 处理速度快.......................................10
1.2.4 价值密度低.......................................10
1.3 大数据的影响..........................................10
1.3.1 大数据对科学研究的影响...............10
1.3.2 大数据对思维方式的影响...............12
1.3.3 大数据对社会发展的影响...............12
1.3.4 大数据对就业市场的影响...............13
1.3.5 大数据对人才培养的影响...............14
1.4 大数据的应用..........................................15
1.5 大数据关键技术 ......................................16
1.6 大数据计算模式 ......................................17
1.6.1 批处理计算.......................................17
1.6.2 流计算...............................................17
1.6.3 图计算...............................................18
1.6.4 查询分析计算...................................18
1.7 大数据产业..............................................18
1.8 大数据与云计算、物联网 ......................19
1.8.1 云计算...............................................19
1.8.2 物联网...............................................23
1.8.3 大数据与云计算、物联网的
关系...................................................27
1.9 本章小结 ..................................................28
1.10 习题........................................................28
第 2 章 大数据处理架构 Hadoop.....29
2.1 概述..........................................................29
2.1.1 Hadoop 简介 .....................................29
2.1.2 Hadoop 的发展简史 .........................29
2.1.3 Hadoop 的特性 .................................30
2.1.4 Hadoop 的应用现状 .........................30
2.1.5 Hadoop 的版本 .................................31
2.2 Hadoop 生态系统.....................................31
2.2.1 HDFS.................................................32
2.2.2 HBase ................................................32
2.2.3 MapReduce........................................32
2.2.4 Hive ...................................................33
2.2.5 Pig .....................................................33
2.2.6 Mahout ..............................................33
2.2.7 ZooKeeper.........................................33
2.2.8 Flume.................................................33
2.2.9 Sqoop.................................................33
2.2.10 Ambari.............................................34
2.3 Hadoop 的安装与使用.............................34
2.3.1 创建 Hadoop 用户 ............................34
2.3.2 更新 apt 和安装 Vim 编辑器 ...........35
2.3.3 安装 SSH 和配置 SSH 无密码
登录...................................................35
2.3.4 安装 Java 环境..................................36
2.3.5 安装单机 Hadoop .............................36
2.3.6 Hadoop 伪分布式安装 .....................37
人民邮电出版社
大数据技术原理与应用—概念、存储、处理、分析与应用(第 3 版)
2
2.4 本章小结..................................................40
2.5 习题..........................................................40
实验 1 熟悉常用的 Linux 操作和 Hadoop
操作 ....................................................40
第二篇 大数据存储与管理
第 3 章 分布式文件系统 HDFS.........46
3.1 分布式文件系统......................................46
3.1.1 计算机集群结构...............................46
3.1.2 分布式文件系统的结构...................47
3.1.3 分布式文件系统的设计需求...........48
3.2 HDFS 简介...............................................48
3.3 HDFS 的相关概念...................................49
3.3.1 块 ......................................................50
3.3.2 名称节点和数据节点.......................50
3.3.3 第二名称节点...................................51
3.4 HDFS 体系结构.......................................52
3.4.1 概述 ..................................................52
3.4.2 HDFS 命名空间管理........................53
3.4.3 通信协议...........................................53
3.4.4 客户端 ..............................................54
3.4.5 HDFS 体系结构的局限性................54
3.5 HDFS 的存储原理...................................54
3.5.1 数据的冗余存储...............................54
3.5.2 数据存取策略...................................55
3.5.3 数据错误与恢复...............................56
3.6 HDFS 的数据读写过程...........................57
3.6.1 读数据的过程...................................57
3.6.2 写数据的过程...................................58
3.7 HDFS 编程实践.......................................59
3.7.1 HDFS 常用命令 ...............................59
3.7.2 HDFS 的 Web 页面 ..........................60
3.7.3 HDFS 常用 Java API 及应用实例 ...61
3.8 本章小结..................................................64
3.9 习题..........................................................65
实验 2 熟悉常用的 HDFS 操作....................65
第 4 章 分布式数据库 HBase............67
4.1 概述..........................................................67
4.1.1 从 BigTable 说起..............................67
4.1.2 HBase 简介.......................................67
4.1.3 HBase 与传统关系数据库的对比
分析...................................................68
4.2 HBase 访问接口.......................................69
4.3 HBase 数据模型.......................................70
4.3.1 数据模型概述...................................70
4.3.2 数据模型的相关概念.......................70
4.3.3 数据坐标...........................................71
4.3.4 概念视图...........................................72
4.3.5 物理视图...........................................73
4.3.6 面向列的存储...................................73
4.4 HBase 的实现原理...................................75
4.4.1 HBase 的功能组件 ...........................75
4.4.2 表和 Region ......................................76
4.4.3 Region 的定位 ..................................76
4.5 HBase 运行机制.......................................78
4.5.1 HBase 系统架构...............................78
4.5.2 Region 服务器的工作原理 ..............80
4.5.3 Store 的工作原理 .............................81
4.5.4 HLog 的工作原理.............................81
4.6 HBase 编程实践.......................................82
4.6.1 HBase 常用的 Shell 命令.................82
4.6.2 HBase 常用的 Java API 及应用实例
...........................................................84
4.7 本章小结..................................................95
4.8 习题..........................................................95
实验 3 熟悉常用的 HBase 操作....................96
第 5 章 NoSQL 数据库..........................98
5.1 NoSQL 简介.............................................98
5.2 NoSQL 兴起的原因.................................99
5.2.1 关系数据库无法满足 Web 2.0 的
需求...................................................99
5.2.2 关系数据库的关键特性在 Web 2.0
时代成为“鸡肋”.........................100
5.3 NoSQL 与关系数据库的比较...............101
5.4 NoSQL 的四大类型...............................102
人民邮电出版社
目 录
3
5.4.1 键值数据库.....................................103
5.4.2 列族数据库.....................................104
5.4.3 文档数据库.....................................104
5.4.4 图数据库.........................................105
5.5 NoSQL 的三大基石...............................105
5.5.1 CAP.................................................105
5.5.2 BASE ..............................................107
5.5.3 最终一致性.....................................108
5.6 从 NoSQL 到 NewSQL 数据库.............109
5.7 本章小结................................................ 111
5.8 习题........................................................ 111
实验 4 NoSQL 和关系数据库的操作比较. 111
第 6 章 云数据库 ....................................115
6.1 云数据库概述........................................115
6.1.1 云计算是云数据库兴起的基础.....115
6.1.2 云数据库的概念.............................116
6.1.3 云数据库的特性.............................117
6.1.4 云数据库是个性化数据存储需求
的理想选择.....................................118
6.1.5 云数据库与其他数据库的关系 .....119
6.2 云数据库产品 ........................................120
6.2.1 云数据库厂商概述.........................120
6.2.2 Amazon 的云数据库产品...............120
6.2.3 Google 的云数据库产品 ................121
6.2.4 Microsoft 的云数据库产品 ............121
6.2.5 其他云数据库产品.........................122
6.3 云数据库系统架构 ................................123
6.3.1 UMP 系统概述 ...............................123
6.3.2 UMP 系统架构 ...............................123
6.3.3 UMP 系统功能 ...............................126
6.4 本章小结 ................................................128
6.5 习题........................................................128
第三篇 大数据处理与分析
第 7 章 MapReduce..............................131
7.1 概述........................................................131
7.1.1 分布式并行编程.............................131
7.1.2 MapReduce 模型简介.....................132
7.1.3 Map 和 Reduce 函数.......................132
7.2 MapReduce 的工作流程........................133
7.2.1 工作流程概述.................................133
7.2.2 MapReduce 的各个执行阶段.........134
7.2.3 Shuffle 过程详解............................135
7.3 实例分析:WordCount..........................138
7.3.1 WordCount 的程序任务 .................138
7.3.2 WordCount 的设计思路 .................139
7.3.3 WordCount 的具体执行过程..........139
7.3.4 一个 WordCount 执行过程的
实例.................................................140
7.4 MapReduce 的具体应用........................141
7.4.1 MapReduce 在关系代数运算中的
应用.................................................142
7.4.2 分组与聚合运算.............................143
7.4.3 矩阵-向量乘法 ...............................143
7.4.4 矩阵乘法.........................................144
7.5 MapReduce 编程实践............................144
7.5.1 任务要求.........................................144
7.5.2 编写 Map 处理逻辑........................145
7.5.3 编写 Reduce 处理逻辑...................146
7.5.4 编写 main 方法...............................147
7.5.5 编译打包代码以及运行程序 .........148
7.6 本章小结 ................................................150
7.7 习题........................................................150
实验 5 MapReduce 初级编程实践 ..............151
第 8 章 Hadoop 再探讨.......................155
8.1 Hadoop 的优化与发展...........................155
8.1.1 Hadoop 的局限与不足 ...................155
8.1.2 针对 Hadoop 的改进与提升...........156
8.2 HDFS 2.0 的新特性 ...............................156
8.2.1 HDFS HA........................................157
8.2.2 HDFS 联邦......................................158
8.3 新一代资源管理调度框架 YARN.........159
8.3.1 MapReduce 1.0 的缺陷...................160
8.3.2 YARN 设计思路.............................160
人民邮电出版社
大数据技术原理与应用—概念、存储、处理、分析与应用(第 3 版)
4
8.3.3 YARN 体系结构.............................161
8.3.4 YARN 工作流程.............................163
8.3.5 YARN 框架与 MapReduce 1.0
框架的对比分析.............................164
8.3.6 YARN 的发展目标.........................165
8.4 Hadoop 生态系统中具有代表性的
功能组件 ................................................166
8.4.1 Pig ...................................................166
8.4.2 Tez...................................................167
8.4.3 Kafka...............................................169
8.5 本章小结................................................170
8.6 习题........................................................170
第 9 章 数据仓库 Hive.........................172
9.1 概述........................................................172
9.1.1 数据仓库概念.................................172
9.1.2 传统数据仓库面临的挑战.............173
9.1.3 Hive 简介........................................173
9.1.4 Hive 与 Hadoop 生态系统中其他组
件的关系.........................................174
9.1.5 Hive 与传统数据库的对比分析 ....174
9.1.6 Hive 在企业中的部署和应用........175
9.2 Hive 系统架构 .......................................176
9.3 Hive 工作原理 .......................................177
9.3.1 SQL 语句转换成 MapReduce 作业
的基本原理.....................................177
9.3.2 SQL 查询转换成 MapReduce 作业
的过程.............................................179
9.4 Hive HA 基本原理 ................................180
9.5 Impala.....................................................181
9.5.1 Impala 简介 ....................................181
9.5.2 Impala 系统架构.............................181
9.5.3 Impala 查询执行过程.....................182
9.5.4 Impala 与 Hive 的比较...................183
9.6 Hive 编程实践 .......................................184
9.6.1 Hive 的数据类型............................184
9.6.2 Hive 基本操作................................185
9.6.3 Hive 应用实例:WordCount..........188
9.6.4 Hive 编程的优势............................188
9.7 本章小结................................................189
9.8 习题........................................................189
实验 6 熟悉 Hive 的基本操作.....................189
第 10 章 Spark.........................................192
10.1 概述......................................................192
10.1.1 Spark 简介 ....................................192
10.1.2 Scala 简介.....................................193
10.1.3 Spark 与 Hadoop 的对比..............193
10.2 Spark 生态系统....................................195
10.3 Spark 运行架构....................................197
10.3.1 基本概念.......................................197
10.3.2 架构设计.......................................197
10.3.3 Spark 运行基本流程.....................198
10.3.4 RDD 的设计与运行原理..............199
10.4 Spark 的部署和应用方式....................208
10.4.1 Spark 的部署方式.........................208
10.4.2 从“Hadoop+Storm”架构转向
Spark 架构 ....................................209
10.4.3 Hadoop 和 Spark 的统一部署......210
10.5 Spark 编程实践....................................210
10.5.1 启动 Spark Shell ...........................211
10.5.2 Spark RDD 基本操作 ...................211
10.5.3 Spark 应用程序 ............................213
10.6 本章小结..............................................217
10.7 习题......................................................217
实验 7 Spark 初级编程实践........................217
第 11 章 流计算.......................................220
11.1 流计算概述 ..........................................220
11.1.1 静态数据和流数据.......................220
11.1.2 批量计算和实时计算...................221
11.1.3 流计算的概念...............................221
11.1.4 流计算与 Hadoop .........................222
11.1.5 流计算框架...................................222
11.2 流计算的处理流程 ..............................223
11.2.1 概述...............................................223
11.2.2 数据实时采集...............................223
11.2.3 数据实时计算...............................224
11.2.4 实时查询服务...............................224
11.3 流计算的应用 ......................................225
人民邮电出版社
目 录
5 11.3.1 应用场景 1:实时分析................225
11.3.2 应用场景 2:实时交通................226
11.4 开源流计算框架 Storm........................226
11.4.1 Storm 简介 ....................................226
11.4.2 Storm 的特点 ................................227
11.4.3 Storm 的设计思想 ........................227
11.4.4 Storm 的框架设计 ........................229
11.4.5 Storm 实例 ....................................230
11.5 Spark Streaming....................................232
11.5.1 Spark Streaming 设计 ...................232
11.5.2 Spark Streaming 与 Storm 的
对比...............................................233
11.6 本章小结 ..............................................233
11.7 习题......................................................234
第 12 章 Flink ...........................................236
12.1 Flink 简介.............................................236
12.2 为什么选择 Flink.................................237
12.2.1 传统数据处理架构.......................237
12.2.2 大数据 Lambda 架构....................237
12.2.3 流处理架构...................................238
12.2.4 Flink 是理想的流计算框架..........239
12.2.5 Flink 的优势 .................................239
12.3 Flink 应用场景.....................................240
12.3.1 事件驱动型应用...........................240
12.3.2 数据分析应用...............................241
12.3.3 数据流水线应用...........................242
12.4 Flink 技术栈.........................................243
12.5 Flink 体系架构.....................................244
12.6 Flink 编程模型.....................................244
12.7 Flink 编程实践.....................................245
12.7.1 安装 Flink .....................................245
12.7.2 编程实现 WordCount 程序 ..........247
12.8 本章小结..............................................250
12.9 习题......................................................251
实验 8 Flink 初级编程实践.........................251
第 13 章 图计算.......................................253
13.1 图计算简介..........................................253
13.1.1 传统图计算解决方案的不足
之处...............................................253
13.1.2 通用图计算软件...........................254
13.2 Pregel 简介...........................................255
13.3 Pregel 图计算模型 ...............................255
13.3.1 有向图和顶点...............................255
13.3.2 顶点之间的消息传递...................255
13.3.3 Pregel 的计算过程........................256
13.3.4 Pregel 计算过程的实例................257
13.4 Pregel 的 C++ API................................259
13.4.1 消息传递机制...............................260
13.4.2 Combiner.......................................260
13.4.3 Aggregator.....................................261
13.4.4 拓扑改变.......................................261
13.4.5 输入和输出...................................261
13.5 Pregel 的体系结构 ...............................262
13.5.1 Pregel 的执行过程........................262
13.5.2 容错性...........................................263
13.5.3 Worker...........................................264
13.5.4 Master............................................264
13.5.5 Aggregator.....................................265
13.6 Pregel 的应用实例 ...............................265
13.6.1 单源最短路径...............................265
13.6.2 二分匹配.......................................266
13.7 Pregel 和 MapReduce 实现 PageRank
算法的对比 ..........................................267
13.7.1 PageRank 算法..............................267
13.7.2 PageRank 算法在 Pregel 中的
实现...............................................268
13.7.3 PageRank 算法在 MapReduce
中的实现.......................................269
13.7.4 PageRank 算法在 Pregel 和
MapReduce 中实现的比较...........271
13.8 本章小结 ..............................................271
13.9 习题......................................................272
第 14 章 数据可视化.............................273
14.1 可视化概述 ..........................................273
14.1.1 什么是数据可视化.......................273
14.1.2 可视化的发展历程.......................273
14.1.3 可视化的重要作用.......................275
人民邮电出版社
大数据技术原理与应用—概念、存储、处理、分析与应用(第 3 版)
6
14.2 可视化工具..........................................277
14.2.1 入门级工具...................................277
14.2.2 信息图表工具...............................277
14.2.3 地图工具.......................................278
14.2.4 时间线工具...................................279
14.2.5 高级分析工具...............................280
14.3 可视化典型案例..................................280
14.3.1 全球黑客活动...............................280
14.3.2 互联网地图...................................280
14.3.3 编程语言之间的影响力关系.......281
14.3.4 世界国家健康与财富之间的
关系.................................................282
14.3.5 3D 可视化互联网地图 App .........283
14.4 本章小结..............................................283
14.5 习题......................................................284
第四篇 大数据应用
第 15 章 大数据在互联网领域的
应用...........................................286
15.1 推荐系统概述......................................286
15.1.1 什么是推荐系统...........................286
15.1.2 长尾理论.......................................287
15.1.3 推荐方法.......................................287
15.1.4 推荐系统模型...............................288
15.1.5 推荐系统的应用...........................288
15.2 协同过滤..............................................289
15.2.1 基于用户的协同过滤...................289
15.2.2 基于物品的协同过滤...................291
15.2.3 UserCF 算法和 ItemCF 算法的
对比 ..............................................292
15.3 协同过滤实践......................................293
15.3.1 实践背景.......................................293
15.3.2 数据处理.......................................293
15.3.3 计算相似度矩阵...........................294
15.3.4 计算推荐结果...............................295
15.3.5 展示推荐结果...............................295
15.4 本章小结..............................................296
15.5 习题......................................................296
第 16 章 大数据在生物医学
领域的应用............................297
16.1 流行病预测..........................................297
16.1.1 传统流行病预测机制的不足.......297
16.1.2 基于大数据的流行病预测...........298
16.1.3 基于大数据的流行病预测的
重要作用.......................................299
16.2 智慧医疗..............................................299
16.3 生物信息学..........................................300
16.4 案例:基于大数据的综合健康服务
平台......................................................301
16.4.1 平台概述.......................................301
16.4.2 平台业务架构...............................302
16.4.3 平台体系架构...............................303
16.4.4 平台关键技术...............................304
16.5 本章小结..............................................305
16.6 习题......................................................305
第 17 章 大数据的其他应用..............306
17.1 大数据在物流领域中的应用 ..............306
17.1.1 智能物流的概念...........................306
17.1.2 智能物流的作用...........................307
17.1.3 智能物流的应用...........................307
17.1.4 大数据是智能物流的关键...........308
17.1.5 中国智能物流骨干网—菜鸟...308
17.2 大数据在城市管理中的应用 ..............310
17.2.1 智能交通.......................................310
17.2.2 环保监测.......................................311
17.2.3 城市规划.......................................312
17.2.4 安防领域.......................................313
17.3 大数据在金融行业中的应用 ..............313
17.3.1 高频交易.......................................313
17.3.2 市场情绪分析...............................314
17.3.3 信贷风险分析...............................314
17.4 大数据在汽车行业中的应用 ..............315
17.5 大数据在零售行业中的应用 ..............316
17.5.1 发现关联购买行为.......................316
人民邮电出版社
目 录
7
17.5.2 客户群体细分...............................317
17.5.3 供应链管理...................................318
17.6 大数据在餐饮行业中的应用 ..............318
17.6.1 餐饮行业拥抱大数据...................318
17.6.2 餐饮 O2O......................................319
17.7 大数据在电信行业中的应用 ..............320
17.8 大数据在能源行业中的应用 ..............321
17.9 大数据在体育和娱乐领域中的
应用......................................................321
17.9.1 训练球队.......................................322
17.9.2 投拍影视作品...............................323
17.9.3 预测比赛结果...............................323
17.10 大数据在安全领域中的应用.............324
17.10.1 大数据与国家安全.....................324
17.10.2 应用大数据技术防御网络
攻击.............................................324
17.10.3 警察应用大数据工具预防
犯罪.............................................325
17.11 大数据在政府领域中的应用.............326
17.12 大数据在日常生活中的应用.............326
17.13 本章小结 ............................................328
17.14 习题....................................................328
参考文献.........................................................329

人民邮电出版社

读者评论

赶紧抢沙发哦!

我要评论

作者介绍

林子雨(1978-),男,博士,国内高校知名大数据教师,厦门大学计算机科学系副教授,厦门大学云计算与大数据研究中心创始成员,厦门大学数据库实验室负责人,中国计算机学会数据库专委会委员,中国计算机学会信息系统专委会委员,中国高校首个“数字教师”提出者和建设者。2013年开始在厦门大学开设大数据课程,建设了国内高校首个大数据课程公共服务平台,平台累计网络访问量超过700万次,成为全国高校大数据教学知名品牌,并荣获“2018年福建省教学成果二等奖”,主持的课程《大数据技术原理与应用》获评“2018年国家精品在线开放课程”。
主讲课程:《大数据技术原理与应用》《大数据处理技术》《大数据导论》。
个人主页:http://dblab.xmu.edu.cn/post/linziyu。
E-mail: ziyulin@xmu.edu.cn。
数据库实验室网站:http://dblab.xmu.edu.cn。
建设了高校大数据课程公共服务平台(http://dblab.xmu.edu.cn/post/bigdata-teaching- platform/),为教师教学和学生学习大数据课程提供包括教学大纲、讲义PPT、学习指南、备课指南、实验指南、上机习题、授课视频、技术资料等全方位、一站式免费服务,平台每年访问量超过200万次,累计访问量超过750万次,同时提供面向高校的大数据实验平台建设方案和大数据课程师资培训服务。

推荐用户

购买本书用户

相关图书

人邮微信
本地服务
教师服务
教师服务
读者服务
读者服务
返回顶部
返回顶部