工业和信息化精品系列教材——大数据技术

大数据分析技术与应用(微课版)

浪潮集团校企合作系列教材,大数据分析框架及实战应用
分享 推荐 0 收藏 8 阅读 462
宿佳宁 王林 于丽娜 (主编) 尹洪岩 张磊 张成勇 副主编 (副主编) 978-7-115-63854-0

关于本书的内容有任何问题,请联系 人邮社-赵亮

1.贯彻立德树人,融入课程思政元素
2.资源与案例均为本校多年教学经验的总结,同时结合大数据一线企业浪潮集团在数据采集行业的行业经验与案例总结。做到了真正的产教融合
3.以项目为模块组织教材内容,提升学生的实践能力
4.深度契合高等职业学校大数据技术与应用最新专业教学标准
5.配套微课视频,支持线上线下混合教学

内容摘要

本书按照大数据分析流程,以电商产品数据为例,由浅入深地讲解大数据分析的核心开发技术,以及大数据分析工具及其组件的作用和使用方法。本书内容系统、全面,可帮助读者快速掌握大数据分析技术。本书介绍了大数据分析的概念、应用场景、分析指标、分析工具、分析组件、分布式存储、分布式处理、数据离线分析、数据实时分析、数据挖掘,以及数据迁移等知识,并通过实际的操作案例,详细、直观地介绍了大数据分析的实现过程。 本书可作为高等职业院校大数据技术等专业的教材,也可作为大数据分析技术人员的参考书。

目录

项目1
初识电商产品数据的处理与
分析 1
项目导言 1
项目导图 1
知识目标 1
技能目标 2
素养目标 2
任务1-1 电商产品数据背景及数据
分析概述 2
任务描述 2
素质拓展 2
任务技能 2
技能点1 电商产品数据背景 2
技能点2 大数据分析概念 4
技能点3 大数据分析应用场景 5
技能点4 大数据分析指标 9
任务1-2 电商产品数据处理与分析
项目准备 12
任务描述 12
素质拓展 12
任务技能 12
技能点1 大数据分析工具简介 12
技能点2 大数据分析组件 15
技能点3 大数据分析流程 19
技能点4 大数据分析企业级应用 20
任务实施 22
项目小结 26
课后习题 26
自我评价 27

项目2
电商产品数据分布式存储 28
项目导言 28
项目导图 28
知识目标 28
技能目标 29
素养目标 29
任务2-1 使用HDFS Shell管理
电商产品数据 29
任务描述 29
素质拓展 29
任务技能 29
技能点1 什么是HDFS 29
技能点2 HDFS存储架构 30
技能点3 HDFS文件存取机制 32
技能点4 HDFS Shell基础命令 36
技能点5 HDFS Shell管理命令 38
任务实施 40
任务2-2 使用HDFS库管理电商
产品数据 44
任务描述 44
素质拓展 44
任务技能 44
技能点1 HDFS库简介 44
技能点2 HDFS库方法 44
任务实施 48
项目小结 51
课后习题 51
自我评价 52

项目3
电商产品数据分布式处理 53
项目导言 53
项目导图 53
知识目标 53
技能目标 53
素养目标 54
任务3-1 使用正则表达式匹配电商
产品数据 54
任务描述 54
素质拓展 54
任务技能 54
技能点1 MapReduce简介 54
技能点2 YARN简介 56
技能点3 正则表达式 59
任务实施 61
任务3-2 使用Hadoop Streaming
处理电商产品数据 64
任务描述 64
素质拓展 64
任务技能 64
技能点1 Hadoop Streaming简介 64
技能点2 Hadoop Streaming的使用
方法 64
任务实施 65
项目小结 71
课后习题 71
自我评价 72

项目4
电商产品数据离线分析 73
项目导言 73
项目导图 73
知识目标 73
技能目标 74
素养目标 74
任务4-1 使用Hive创建电商产品
数据库 74
任务描述 74
素质拓展 74
任务技能 74
技能点1 Hive数据库操作 74
技能点2 Hive表操作 76
技能点3 Hive数据操作 78
任务实施 80
任务4-2 使用Hive对电商产品数据
进行统计 84
任务描述 84
素质拓展 84
任务技能 84
技能点1 算术运算 84
技能点2 数据查询 85
任务实施 88
任务4-3 使用Spark创建基于电商
产品数据的分布式数据
容器 95
任务描述 95
素质拓展 95
任务技能 95
技能点1 Spark SQL简介 95
技能点2 DataFrame简介 97
技能点3 DataFrame创建 98
任务实施 102
任务4-4 使用Spark SQL完成电商
产品数据分析 103
任务描述 103
素质拓展 103
任务技能 104
技能点1 数据查看 104
技能点2 数据过滤 105
技能点3 数据处理 105
技能点4 数据存储 107
任务实施 108
项目小结 111
课后习题 111
自我评价 112

项目5
电商产品数据实时分析 113
项目导言 113
项目导图 113
知识目标 113
技能目标 113
素养目标 114
任务5-1 创建数据流 114
任务描述 114
素质拓展 114
任务技能 114
技能点1 流式计算简介 114
技能点2 Spark Streaming简介 116
技能点3 DStream简介 117
技能点4 DStream的创建 118
任务实施 120
任务5-2 使用Spark Streaming
对电商产品数据进行实时
数据分析 122
任务描述 122
素质拓展 122
任务技能 122
技能点1 DStream转换操作 122
技能点2 DStream窗口操作 124
技能点3 DStream输出操作 125
技能点4 Spark Streaming启动与
停止 126
任务实施 127
项目小结 134
课后习题 134
自我评价 135

项目6
电商产品数据挖掘 136
项目导言 136
项目导图 136
知识目标 136
技能目标 137
素养目标 137
任务6-1 处理电商产品数据 137
任务描述 137
素质拓展 137
任务技能 137
技能点1 Spark MLlib概述 137
技能点2 Spark MLlib数据类型 138
技能点3 特征提取与数据处理 140
任务实施 144
任务6-2 使用Spark MLlib对电商
产品定价 151
任务描述 151
素质拓展 152
任务技能 152
技能点1 分类算法 152
技能点2 回归算法 154
技能点3 推荐算法 156
技能点4 算法评估 157
任务实施 159
项目小结 162
课后习题 162
自我评价 163

项目7
电商产品数据迁移 164
项目导言 164
项目导图 164
知识目标 164
技能目标 164
素养目标 165
任务7-1 根据电商产品数据统计结果
创建数据表并查看 165
任务描述 165
素质拓展 165
任务技能 165
技能点1 Sqoop架构 165
技能点2 Sqoop连接器 167
技能点3 Sqoop配置数据库密码
方式 167
技能点4 列出所有数据库 168
技能点5 列出数据库中的所有表 169
任务实施 169
任务7-2 使用Sqoop将Hive中
电商产品数据统计结果
导出 172
任务描述 172
素质拓展 172
任务技能 173
技能点1 Sqoop数据导入与
导出 173
技能点2 其他常用命令 176
任务实施 178
项目小结 183
课后习题 183
自我评价 184


读者评论

赶紧抢沙发哦!

我要评论

作者介绍

宿佳宁,副教授,哈尔滨职业技术学院人工智能教研室主任,大数据技术专业带头人,获校级教学新秀称号。主讲课程:大数据技术、Java面向对象程序设计、Python语言程序设计、MySQL数据库基础等。具有丰富的课程建设经验,参与大数据技术专业、软件技术专业建设,主持Java面向对象程序设计课程思政建设,参与省级思政示范课程“Java项目实战”团队,并担任主讲教师。带领学生参加黑龙江职业院校技能大赛,多次获得“Java程序设计”“应用软件系统开发”赛项一等奖。

同系列书

  • 大数据分析技术与应用(微课版)

    宿佳宁 王林 于丽娜 尹洪岩 张磊 张成勇 副主编

    本书按照大数据分析流程,以电商产品数据为例,由浅入深地讲解大数据分析的核心开发技术,以及大数据分析工具及其组件...

    ¥49.80
  • 大数据采集与预处理(微课版)

    宋磊 陈天真 崔敏 伞颖 刘莹 牛曼冰

    本书按照大数据采集与预处理的实现流程,由浅入深地讲解大数据采集与预处理的相关技术,以及如何使用不同方式对大数据...

    ¥56.00

相关图书

  • 鲲鹏智能计算导论

    华为技术有限公司

    本书以鲲鹏智能计算为主线,共12 章,分别为绪论、计算机与服务器、鲲鹏通用计算平台、鲲鹏openEuler操作...

    ¥49.80
  • 网络安全技术项目教程(微课版)

    本书以当前各行业面临的安全威胁为出发点,以网络安全五要素为主线,详细介绍如何保障信息的保密性、完整性、可用性、...

    ¥59.80
  • 大数据采集与预处理(微课版)

    宋磊 陈天真 崔敏 伞颖 刘莹 牛曼冰

    本书按照大数据采集与预处理的实现流程,由浅入深地讲解大数据采集与预处理的相关技术,以及如何使用不同方式对大数据...

    ¥56.00
  • 大数据导论

    本书以大数据处理技术涉及的主要流程为主线,深入浅出地介绍大数据相关的基础知识。本书条理清晰、重点突出,内容循序...

    ¥49.80
  • Spark大数据分析实务

    本书以Spark大数据分析的常用技术与真实项目相结合的方式,深入浅出地介绍Spark大数据分析的重要内容。全书...

    ¥59.80
人邮微信
本地服务
人邮微信
教师服务
二维码
读者服务
读者服务
返回顶部
返回顶部