序言
前言
关于引用作品的版权声明
第　1章Hadoop初体验　1
任务1初识大数据　2
1.1.1　大数据基本概念　2
1.1.2　大数据带来的挑战　3
任务2初识Hadoop　3
1.2.1　Hadoop概述　4
1.2.2　Hadoop生态圈　6
1.2.3　Hadoop应用案例　8
任务3安装Hadoop平台　9
1.3.1　安装虚拟机　10
1.3.2　安装Linux系统　13
1.3.3　安装Hadoop伪分布式环境　30
本章总结　34
本章练习　34
第　2章Hadoop分布式文件系统　35
任务1HDFS入门　36
2.1.1　认识HDFS　36
2.1.2　HDFS基础　38
2.1.3　HDFS架构　40
任务2HDFS基本操作　41
2.2.1　使用HDFS shell访问　41
2.2.2　使用Java API访问　45
任务3HDFS运行原理　48
2.3.1　HDFS读写流程　49
2.3.2　HDFS副本机制　50
2.3.3　HDFS负载均衡　51
2.3.4　HDFS机架感知　52
任务4HDFS高级知识　53
2.4.1　Hadoop序列化机制　53
2.4.2　SequenceFile　58
2.4.3　MapFile　63
本章总结　65
本章练习　66
第3章Hadoop分布式计算框架　67
任务1认识MapReduce编程模型　68
3.1.1　MapReduce基础　68
3.1.2　MapReduce编程模型　69
3.1.3　MapReduce词频统计编程实例　70
任务2MapReduce应用开发　75
3.2.1　MapReduce输入/输出类型　75
3.2.2　MapReduce输入格式　76
3.2.3　MapReduce输出格式　78
3.2.4　Combiner操作　79
3.2.5　Partitioner操作　82
3.2.6　自定义RecordReader　86
任务3MapReduce高级应用　92
3.3.1　使用MapReduce实现join操作　93
3.3.2　使用MapReduce实现排序　100
3.3.3　使用MapReduce实现二次排序　103
3.3.4　使用MapReduce合并小文件　108
本章总结　113
本章练习　113
第4章Hadoop新特性　115
任务1初识YARN　116
4.1.1　YARN产生背景　116
4.1.2　YARN简介　117
4.1.3　YARN架构设计　119
任务2了解HDFS新特性　121
4.2.1　HDFS NameNode 高可用机制　121
4.2.2　HDFS NameNode Federation　129
4.2.3　HDFS Snapshots　130
4.2.4　HDFS REST API　134
4.2.5　DistCp工具　134
任务3了解YARN新特性　135
4.3.1　ResourceManager自动重启　135
4.3.2　ResourceManager高可用机制　136
本章总结　139
本章练习　139
第5章Hadoop分布式数据库　141
任务1认识HBase　142
5.1.1HBase简介　142
5.1.2　HBase体系结构　143
5.1.3HBase数据模型　145
5.1.4HBase的安装　148
任务2HBase　Shell操作　155
5.2.1　HBase Shell简介　155
5.2.2　HBase Shell的使用　156
任务3HBase编程　162
5.3.1　开发HBase应用程序　162
5.3.2HBase数据存储管理API　163
本章总结　175
本章练习　175
第6章Hadoop综合实战——音乐排行榜　177
任务1MapReduce与HBase的集成　178
6.1.1　MapReduce与HBase的集成环境　178
6.1.2　批量数据导入（Bulk Loading）　181
任务2HBase　MapReduce API　182
6.2.1HBase　MapReduce API 简介　182
6.2.2　TableMapper的使用　183
6.2.3　TableReducer的使用　195
任务3实现音乐排行榜　197
6.3.1　程序的结构与实现　198
6.3.2　HBase数据库设计优化　205
6.3.3　MapReduce全局共享数据　205
本章总结　207
本章练习　207
第7章数据仓库Hive　209
任务1Hive基础　210
7.1.1　认识Hive　210
7.1.2　Hive架构设计　211
7.1.3　Hive与Hadoop　212
7.1.4　Hive与传统关系型数据库　212
7.1.5　Hive数据存储模型　213
7.1.6　Hive部署　213
任务2掌握Hive操作　214
7.2.1　Hive DDL　214
7.2.2　Hive DML　217
7.2.3　Hive shell　222
任务3Hive高级应用　223
7.3.1　Hive函数　224
7.3.2　Hive调优策略　227
本章总结　232
本章练习　232
第8章大数据离线处理辅助系统　233
任务1认识并使用数据迁移框架Sqoop　234
8.1.1　Sqoop简介　234
8.1.2　使用Sqoop导入MySQL数据到HDFS　239
8.1.3　使用Sqoop导出HDFS数据到MySQL　246
8.1.4　使用Sqoop导入MySQL数据到Hive　248
8.1.5　Sqoop Job　250
任务2使用Azkaban实现工作流调度　250
8.2.1　Azkaban概述　250
8.2.2　Azkaban环境部署　252
8.2.3　Azkaban应用实例　256
本章总结　259
本章练习　259
第9章Spark基础　261
任务1Spark入门　262
9.1.1　Spark简介　262
9.1.2　Spark优势　262
9.1.3　Spark生态圈　264
任务2Scala基础　267
9.2.1　Scala简介　268
9.2.2　Scala函数定义　271
9.2.3　Scala面向对象操作　272
9.2.4　Scala集合的使用　275
9.2.5　Scala高阶函数　278
任务3编译Spark　281
9.3.1　下载Spark源码　281
9.3.2　编译Spark源码　282
任务4Spark初体验　284
9.4.1　Spark环境部署　284
9.4.2　spark-shell　285
本章总结　286
本章练习　286
第　10章Spark Core　287
任务1Spark　RDD　288
10.1.1　RDD介绍　288
10.1.2　RDD的创建　289
10.1.3　RDD的转换算子　291
10.1.4　RDD的动作算子　293
10.1.5　RDD的依赖关系　295
任务2RDD高级应用　297
10.2.1　RDD缓存机制　297
10.2.2　共享变量　300
10.2.3　Spark架构设计　302
任务3基于RDD的Spark应用程序开发　303
10.3.1　准备工作　303
10.3.2　词频计数实例　304
10.3.3　年龄统计实例　308
本章总结　309
本章练习　309
第　11章Spark SQL　311
任务1认识Spark　SQL　312
11.1.1　SQL　312
11.1.2　SQL on Hadoop框架　312
11.1.3　Spark SQL简介　314
任务2Spark　SQL编程基础　315
11.2.1　Spark SQL编程入口　315
11.2.2　DataFrame基础　317
11.2.3　DataFrame编程实例　318
任务3Spark　SQL编程进阶　325
11.3.1　Spark SQL操作外部数据源　325
11.3.2　Spark SQL函数　329
11.3.3　Spark SQL调优　332
本章总结　334
本章练习　335
第　12章Spark Streaming　337
任务1流处理框架及Spark　Streaming　338
12.1.1　流处理框架简介　338
12.1.2　Spark Streaming简介　340
任务2使用Spark　Streaming编程　343
12.2.1　Spark Streaming核心　343
12.2.2　Spark Streaming编程实例　348
任务3Spark　Streaming高级应用　352
12.3.1　使用Spark Streaming整合Flume　353
12.3.2　使用Spark Streaming整合Kafka　356
12.3.3　Spark Streaming优化策略　361
本章总结　363
本章练习　363
附录　365