项目介绍 1
项目实施 3
任务1 大数据集群环境搭建 3
1.1 任务描述 3
1.2 任务实施 3
1.2.1 工单1.1：虚拟机环境搭建 4
1.2.2 工单1.2：虚拟机环境配置 13
1.2.3 工单1.3：JDK的安装与配置 22
1.2.4 工单1.4：ZooKeeper的安装与配置 26
1.2.5 工单1.5：Hadoop环境部署 30
1.2.6 工单1.6：Hive环境部署 45
1.3 知识链接 50
1.3.1 大数据概述 50
1.3.2 大数据的特征 50
1.3.3 大数据的核心技术 51
1.3.4 大数据分布式系统架构 52
1.3.5 环境搭建操作基础 56
1.4 任务总结 61
1.5 课后练习 61
任务2 数据的采集和存储 62
2.1 任务描述 62
2.2 任务实施 62
2.2.1 工单2.1：天气信息采集准备 62
2.2.2 工单2.2：天气信息采集执行 70
2.3 知识链接 77
2.3.1 数据采集方法 77
2.3.2 网络数据采集流程 78
2.3.3 HTTP协议原理 79
2.3.4 网页基础知识 84
2.3.5 驼峰命名法 85
2.4 任务总结 85
2.5 课后练习 86
任务3 数据仓库的构建 87
3.1 任务描述 87
3.2 任务实施 87
3.2.1 工单3.1：贴源层对象创建 88
3.2.2 工单3.2：贴源层数据加载 93
3.2.3 工单3.3：贴源层数据导入 97
3.3 知识链接 100
3.3.1 HDFS基本操作 100
3.3.2 数据仓库概述 106
3.3.3 数据仓库工具 107
3.3.4 数据定义语句 108
3.3.5 数据表基本操作 115
3.4 任务总结 119
3.5 课后练习 120
任务4 数据的清洗和转换 121
4.1 任务描述 121
4.2 任务实施 121
4.2.1 工单4.1：accidentinfo数据表处理 121
4.2.2 工单4.2：driverinfo数据表处理 124
4.2.3 工单4.3：carinfo数据表处理 126
4.2.4 工单4.4：weatherinfo数据表处理 127
4.3 知识链接 129
4.3.1 Hive数据查询语句 129
4.3.2 Hive运算符 132
4.3.3 公用表表达式 138
4.3.4 Hive内置函数 139
4.3.5 合并操作 149
4.4 任务总结 149
4.5 课后练习 150
任务5 主题加工与分析 151
5.1 任务描述 151
5.2 任务实施 151
5.2.1 工单5.1：明细表构建 151
5.2.2 工单5.2：数据统计分析 154
5.2.3 工单5.3：数据迁移 159
5.3 知识链接 163
5.3.1 分组查询操作 163
5.3.2 排序查询操作 165
5.3.3 连接查询操作 168
5.4 任务总结 172
5.5 课后练习 172
任务6 数据可视化 173
6.1 任务描述 173
6.2 任务实施 173
6.2.1 工单6.1：可视化页面布局 174
6.2.2 工单6.2：数据接口准备 180
6.2.3 工单6.3：数据图表绘制 184
6.3 知识链接 192
6.3.1 大数据可视化技术 192
6.3.2 Vue.js渐进式框架 193
6.3.3 ECharts可视化 194
6.4 任务总结 195
6.5 课后练习 195
参考文献 196