Spark编程基础（Scala版第3版）-图书-人邮教育社区

内容摘要

本书以 Scala 作为开发 Spark 应用程序的编程语言，系统地介绍 Spark 编程的基础知识。本书共9章，内容包括大数据技术概述、Scala 编程基础、Spark 的设计与运行原理、Spark 环境搭建和使用方法、RDD 编程、Spark SQL、Spark Streaming、Structured Streaming 和 Spark MLlib。
本书安排入门级编程实践，以便读者能更好地学习和更牢固地掌握 Spark 编程方法。本书免费提供丰富的教学资源，包括讲义 PPT、习题、源代码、软件、数据集、微课视频、上机实验指南等。
本书可以作为高等学校数据科学与大数据技术、计算机科学与技术、软件工程等专业大数据课程的教材，用于指导学生进行 Spark 编程实践，也可以作为相关技术人员的参考书。

第 1 章大数据技术概述...................1
1.1 大数据的概念与关键技术 ........................1
1.1.1 大数据的概念.....................................1
1.1.2 大数据关键技术.................................1
1.2 具有代表性的大数据技术 ........................3
1.2.1 Hadoop................................................3
1.2.2 Spark ...................................................6
1.2.3 Flink ....................................................9
1.2.4 Beam .................................................11
1.3 编程语言的选择......................................12
1.3.1 编程语言简介...................................13
1.3.2 Spark 开发语言对比.........................13
1.4 在线资源..................................................14
1.5 本章小结..................................................15
1.6 习题..........................................................15
实验 1 Linux 操作系统的安装和常用命令.....................................................15

第 2 章 Scala 编程基础..................18
2.1 Scala 概述 ................................................18
2.1.1 计算机的缘起...................................18
2.1.2 编程范式...........................................19
2.1.3 Scala 简介.........................................20
2.1.4 Scala 的下载和安装.........................21
2.1.5 编写及运行 HelloWorld 程序 ..........21
2.2 Scala 基础知识 ........................................23
2.2.1 基本数据类型和变量.......................23
2.2.2 I/O .....................................................25
2.2.3 控制结构...........................................27
2.2.4 数据结构...........................................30
2.3 面向对象编程基础..................................35
2.3.1 类.......................................................35
2.3.2 对象...................................................39
2.3.3 继承...................................................42
2.3.4 参数化类型.......................................45
2.3.5 特质...................................................46
2.3.6 模式匹配...........................................49
2.3.7 包.......................................................52
2.4 函数式编程基础 ......................................53
2.4.1 函数的定义与使用...........................53
2.4.2 高阶函数...........................................55
2.4.3 闭包...................................................55
2.4.4 偏应用函数和柯里化.......................56
2.4.5 常见的容器操作...............................57
2.4.6 函数式编程实例...............................62
2.5 本章小结..................................................63
2.6 习题..........................................................63
实验 2 Scala 编程初级实践...........................64

第 3 章 Spark 的设计与运行原理..................................... 68
3.1 概述..........................................................68
3.2 Spark 生态系统........................................69
3.3 Spark 运行架构........................................71
3.3.1 基本概念...........................................71
3.3.2 架构设计...........................................71
3.3.3 Spark 运行基本流程.........................72
3.3.4 RDD 的设计与运行原理..................73
3.4 Spark 的部署模式....................................82
3.5 TensorFlowOnSpark .................................83
3.6 本章小结..................................................84
3.7 习题..........................................................84

第 4 章 Spark 环境搭建和使用方法..................................... 85
4.1 安装 Spark................................................85
4.1.1 基础环境搭建...................................85
4.1.2 下载安装文件...................................86
4.1.3 配置相关文件...................................87
4.1.4 Spark 和 Hadoop 的交互..................87
4.2 在 spark-shell 中运行代码.......................87
4.2.1 “spark-shell”命令...........................88
4.2.2 启动 spark-shell................................89
4.2.3 Spark 用户界面 ................................90
4.3 开发 Spark 独立应用程序.......................90
4.3.1 安装编译打包工具...........................90
4.3.2 编写 Spark 应用程序代码 ...............91
4.3.3 编译打包 ..........................................92
4.3.4 通过“spark-submit”命令提交并运行程序.......................................94
4.4 Spark 集群环境搭建................................95
4.4.1 集群概况 ..........................................95
4.4.2 搭建 Hadoop 集群............................95
4.4.3 在集群中安装 Spark ........................95
4.4.4 配置环境变量...................................96
4.4.5 配置 Spark ........................................96
4.4.6 启动 Spark 集群 ...............................96
4.4.7 关闭 Spark 集群 ...............................97
4.5 在集群上运行 Spark 应用程序...............97
4.5.1 启动 Spark 集群 ...............................98
4.5.2 在集群上运行应用程序 JAR 包......98
4.5.3 在集群上运行 spark-shell ................98
4.5.4 查看应用程序的运行情况...............98
4.6 本章小结..................................................99
4.7 习题..........................................................99
实验 3 Spark 和 Hadoop 的安装...................99

第 5 章 RDD 编程 ........................ 101
5.1 RDD 编程基础 ......................................101
5.1.1 RDD 创建.......................................101
5.1.2 RDD 操作.......................................102
5.1.3 持久化 ............................................ 112
5.1.4 分区 ................................................ 114
5.1.5 一个综合实例................................. 118
5.2 键值对 RDD .......................................... 119
5.2.1 键值对 RDD 的创建 ......................120
5.2.2 常用的键值对 RDD 转换操作 ......120
5.2.3 一个综合实例.................................125
5.3 数据读写................................................126
5.3.1 本地文件系统的数据读写.............126
5.3.2 HDFS 的数据读写..........................129
5.3.3 读写 MySQL 数据库......................129
5.4 综合实例................................................131
5.4.1 求 Top N 个数据的值.....................131
5.4.2 文件排序.........................................135
5.4.3 二次排序.........................................138
5.5 本章小结................................................140
实验 4 RDD 编程初级实践.........................141

第 6 章 Spark SQL .......................143
6.1 Spark SQL 简介 .....................................143
6.1.1 从 Shark 说起 .................................143
6.1.2 Spark SQL 的架构..........................144
6.1.3 为什么推出 Spark SQL..................145
6.1.4 Spark SQL 的特点..........................146
6.1.5 Spark SQL 简单编程实例..............146
6.2 结构化数据 DataFrame .........................148
6.2.1 DataFrame 概述..............................148
6.2.2 DataFrame 的优点..........................149
6.3 DataFrame 的创建和保存......................149
6.3.1 Parquet ............................................149
6.3.2 JSON...............................................150
6.3.3 CSV.................................................151
6.3.4 文本文件.........................................152
6.3.5 序列集合.........................................152
6.4 DataFrame 的基本操作 .........................153
6.4.1 DSL 语法风格................................153
6.4.2 SQL 语法风格................................156
6.5 从 RDD 转换得到 DataFrame ...............159
6.5.1 利用反射机制推断 RDD 模式.......159
6.5.2 使用编程方式定义 RDD 模式.......160
6.6 使用 Spark SQL 读写数据库 ................162
6.6.1 准备工作.........................................162
6.6.2 读取 MySQL 数据库中的数据......163
6.6.3 向 MySQL 数据库写入数据..........163
6.6.4 编写独立应用程序访问MySQL............................................164
6.7 DataSet ...................................................166
6.7.1 DataFrame、DataSet 和 RDD 的区别.................................................166
6.7.2 创建 DataSet...................................168
6.7.3 RDD、DataFrame 和 DataSet之间的相互转换.............................169
6.7.4 词频统计实例.................................170
6.8 本章小结................................................171
6.9 习题........................................................171
实验 5 Spark SQL 编程初级实践................171

第 7 章 Spark Streaming ...........174
7.1 流计算概述............................................174
7.1.1 静态数据和流数据.........................174
7.1.2 批量计算和实时计算.....................175
7.1.3 流计算概念.....................................176
7.1.4 流计算框架.....................................176
7.1.5 流计算处理流程.............................177
7.2 Spark Streaming .....................................178
7.2.1 Spark Streaming 简介.....................178
7.2.2 Spark Streaming 与 Storm 的对比.................................................179
7.2.3 从 Hadoop+Storm 架构转向Spark 架构 ......................................179
7.3 DStream 操作概述.................................181
7.3.1 Spark Streaming 工作机制 .............181
7.3.2 编写 Spark Streaming 程序的基本步骤.........................................181
7.3.3 创建 StreamingContext 对象..........182
7.4 基本数据源............................................182
7.4.1 文件流.............................................182
7.4.2 套接字流.........................................184
7.4.3 RDD 队列流 ...................................188
7.5 高级数据源............................................189
7.5.1 Kafka 简介......................................189
7.5.2 Kafka 准备工作..............................190
7.5.3 Spark 准备工作 ..............................191
7.5.4 编写 Spark Streaming 程序使用Kafka 数据源..................................191
7.5.5 自定义数据源.................................194
7.6 转换操作................................................195
7.6.1 DStream 无状态转换操作..............195
7.6.2 DStream 有状态转换操作..............196
7.7 输出操作................................................199
7.7.1 把 DStream 输出到文本文件中.....199
7.7.2 把 DStream 输出到关系数据库中.........................................200
7.8 本章小结................................................202
7.9 习题........................................................202
实验 6 Spark Streaming 编程初级实践.......202

第 8 章 Structured Streaming.... 204
8.1 概述........................................................204
8.1.1 Spark Streaming 的不足之处 .........205
8.1.2 Structured Streaming 的设计理念.................................................205
8.1.3 Structured Streaming 的处理模型.................................................206
8.1.4 Structured Streaming 和 Spark SQL、Spark Streaming 的关系......207
8.1.5 Structured Streaming 与其他流处理技术的对比.............................208
8.2 Structured Streaming 程序的编写与测试运行...............................................208
8.2.1 编写程序.........................................209
8.2.2 测试运行.........................................210
8.3 输入源....................................................212
8.3.1 File 源..............................................212
8.3.2 Kafka 源..........................................216
8.3.3 Socket 源.........................................219
8.3.4 Rate 源 ............................................219
8.4 输出操作................................................221
8.4.1 启动流计算.....................................222
8.4.2 输出模式.........................................222
8.4.3 输出接收器.....................................223
8.5 容错处理................................................225
8.5.1 通过检查点恢复故障.....................225
8.5.2 故障恢复中的限制.........................225
8.6 迟到数据处理 ........................................226
8.6.1 事件时间.........................................226
8.6.2 迟到数据.........................................227
8.6.3 水印 ................................................227
8.6.4 多水印规则.....................................229
8.6.5 处理迟到数据的例子.....................229
8.7 查询的管理和监控................................232
8.7.1 管理和监控的方法.........................233
8.7.2 一个监控的实例.............................233
8.8 本章小结................................................235
8.9 习题........................................................235
实验 7 Structured Streaming 编程初级实践...........................................235

第 9 章 Spark MLlib ...................237
9.1 基于大数据的机器学习........................237
9.2 机器学习库 MLlib 概述........................238
9.3 基本的数据类型....................................239
9.3.1 本地向量 ........................................239
9.3.2 标注点 ............................................240
9.3.3 本地矩阵 ........................................241
9.3.4 数据源 ............................................241
9.4 基本的统计分析工具............................243
9.4.1 相关性 ............................................243
9.4.2 假设检验 ........................................244
9.4.3 汇总统计 ........................................245
9.5 机器学习流水线....................................245
9.5.1 流水线的概念.................................246
9.5.2 流水线的工作过程.........................246
9.6 特征提取、转换和选择及局部敏感哈希...............................................247
9.6.1 特征提取.........................................248
9.6.2 特征转换.........................................250
9.6.3 特征选择.........................................255
9.6.4 局部敏感哈希.................................256
9.7 分类算法................................................257
9.7.1 逻辑斯谛回归分类算法.................257
9.7.2 决策树分类算法.............................261
9.8 聚类算法................................................264
9.8.1 K-Means 聚类算法.........................265
9.8.2 GMM 聚类算法..............................267
9.9 频繁模式挖掘算法................................269
9.9.1 FP-Growth 算法..............................270
9.9.2 PrefixSpan 算法..............................272
9.10 协同过滤算法......................................275
9.10.1 协同过滤算法的原理...................275
9.10.2 ALS 算法......................................275
9.11 模型选择 ..............................................279
9.11.1 模型选择工具...............................279
9.11.2 用交叉验证选择模型...................280
9.12 本章小结..............................................281
9.13 习题......................................................282
实验 8 Spark 机器学习库 MLlib 编程初级实践..........................................282

参考文献...................................... 284

读者评论

赶紧抢沙发哦！

我要评论

出版信息

书　　名：Spark编程基础（Scala版第3版）
执行编辑：本书的内容有任何问题，请联系孙澍
出版日期：2026-02-01
书　　号：978-7-115-68935-1
作　　者： 林子雨
定　　价：69.80 元
页　　数：284
印刷方式：黑白印刷
开　　本：16开
出版状态：上市销售

作者介绍

林子雨，男，博士（毕业于北京大学），国内高校知名大数据教师，厦门大学计算机科学系副教授，厦门大学信息学院实验教学中心主任，厦门大学数据库实验室负责人，中国计算机学会数据库专委会委员，中国计算机学会信息系统专委会委员，中国高校首个“数字教师”提出者和建设者。厦门大学2013年度、2017年度和2020年度奖教金获得者，获评“厦门大学2019年度本科教学示范岗”，入选“2021年高校计算机专业优秀教师奖励计划”。2013年开始在厦门大学开设大数据课程，建设了国内高校首个大数据课程公共服务平台，平台累计网络访问量超过1500万次，成为全国高校大数据教学知名品牌，并荣获“2018年福建省教学成果二等奖”和“2018年厦门大学教学成果特等奖”，主持的课程《大数据技术原理与应用》获评“2018年国家精品在线开放课程”、“2020年国家级线上一流本科课程”和“2021年福建省线上线下混合一流本科课程”，主持的课程《Spark编程基础》获评“2020年福建省线上一流本科课程”。