项目准备 1
项目描述 1
学习目标 3
项目实施 4
任务1 Spark分布式集群搭建 4
1.1　任务描述 4
1.2　任务实施 4
1.2.1　工单1.1：虚拟机环境搭建与配置 5
1.2.2　工单1.2：Hadoop分布式集群部署 17
1.2.3　工单1.3：Spark集群部署：Standalone模式 23
1.2.4　工单1.4：Spark集群部署：on YARN模式 28
1.2.5　工单1.5：PySpark单词计数 31
1.3　知识链接 35
1.3.1　Spark基础 35
1.3.2　Spark运行原理 39
1.3.3　PySpark基础 44
1.4　任务总结 45
1.5　课后练习 46
任务2 Spark Core离线计算 47
2.1　任务描述 47
2.2　任务实施 47
2.2.1　工单2.1：电影评分数据集初探 48
2.2.2　工单2.2：离线计算电影总数和不同年份的电影数量 52
2.2.3　工单2.3：离线计算电影评分统计信息 56
2.2.4　工单2.4：离线计算跨文件平均值 62
2.2.5　工单2.5：PySpark文件读写 66
2.3　知识链接 71
2.3.1　RDD基础 71
2.3.2　使用RDD 73
2.3.3　键值对RDD 76
2.3.4　广播与累加器 76
2.4　任务总结 77
2.5　课后练习 78
任务3 Spark SQL离线计算 79
3.1　任务描述 79
3.2　任务实施 79
3.2.1　工单3.1：DataFrame基本操作 80
3.2.2　工单3.2：Spark SQL单词计数 84
3.2.3　工单3.3：单数据离线计算 88
3.2.4　工单3.4：多数据连接离线计算 92
3.2.5　工单3.5：Spark SQL调优 98
3.3　知识链接 103
3.3.1　Spark SQL基础 103
3.3.2　Spark SQL编程 106
3.3.3　Spark SQL调优 111
3.4　任务总结 114
3.5　课后练习 114

任务4 实时计算环境搭建 115
4.1　任务描述 115
4.2　任务实施 115
4.2.1　工单4.1：Flume的安装与应用 116
4.2.2　工单4.2：ZooKeeper的安装与配置 121
4.2.3　工单4.3：Kafka的安装与应用 125
4.2.4　工单4.4：模拟生成日志数据 129
4.2.5　工单4.5：Flume和HDFS整合 130
4.2.6　工单4.6：Flume和Kafka整合 134
4.3　知识链接 138
4.3.1　Flume基础 138
4.3.2　ZooKeeper基础 144
4.3.3　Kafka基础 147
4.4　任务总结 150
4.5　课后练习 150
任务5 实时计算实现 151
5.1　任务描述 151
5.2　任务实施 151
5.2.1　工单5.1：Spark Streaming实时单词计数 152

5.2.2　工单5.2：Spark Streaming实时计算电影评分数据集 155
5.2.3　工单5.3：Structured Streaming实时单词计数 160
5.2.4　工单5.4：Structured Streaming实时计算电影评分数据集 165
5.3　知识链接 170
5.3.1　实时计算基础 170
5.3.2　Spark Streaming基础 171
5.3.3　Structured Streaming基础 176
5.4　任务总结 183
5.5　课后练习 183
任务6 实时计算结果可视化 184
6.1　任务描述 184
6.2　任务实施 184
6.2.1　工单6.1：创建Flask服务器 184
6.2.2　工单6.2：编写前端代码 188
6.2.3　工单6.3：实时数据可视化 192
6.3　知识链接 199
6.3.1　Flask-SocketIO基础 199
6.3.2　Flask基础 201
6.3.3　ECharts基础 203
6.4　任务总结 210
6.5　课后练习 210