第1章　数据科学概述　1
实例描述：评价哪个班级的考试成绩更好　1
1.1　数据科学简述　2
1.1.1　数据科学的来源　2
1.1.2　数据科学的基础内容　4
1.2　数据科学的技术基础和应用领域　5
1.3　数据科学所涉及的领域　11
1.3.1　统计学领域　11
1.3.2　概率论领域　15
1.3.3　数据领域　20
进阶案例——奥运会数据分析　23
本章小结　26
同步训练　26
第2章　大数据概述　28
实例描述：国家电网有限公司数据治理实践　28
2.1　初识大数据　31
2.2　大数据的概念　31
2.3　大数据的特征　32
2.3.1　Volume　32
2.3.2　Variety　32
2.3.3　Velocity　32
2.3.4　Value　32
2.3.5　Veracity　33
2.4　大数据的存储　33
2.4.1　文件交互期　33
2.4.2　网络存储期　33
2.4.3　并行计算期　34
2.4.4　云计算期　34
2.5　数据类型　34
2.5.1　结构化数据　34
2.5.2　半结构化数据　35
2.5.3　非结构化数据　35
2.6　大数据的技术与应用　35
2.6.1　大数据技术　36
2.6.2　大数据的应用　38
2.6.3　大数据的挑战　40
2.7　大数据的价值　40
进阶案例——智慧农业大数据案例　42
本章小结　45
同步训练　45
第3章　大数据采集与预处理　48
实例描述：如何加固飞机钢板提升飞行员生还率　48
3.1　大数据分析的数据来源　49
3.1.1　交易数据　49
3.1.2　移动通信数据　49
3.1.3　人为数据　49
3.1.4　机器和传感器数据　49
3.1.5　互联网开放数据　50
3.2　大数据采集　50
3.2.1　数据采集设备　51
3.2.2　日志采集与用户行为链路分析　53
3.2.3　大数据采集技术　57
3.3　数据预处理　58
3.3.1　数据清洗　59
3.3.2　数据集成　61
3.3.3　数据归约　63
进阶案例——数据采集之网络爬虫　65
本章小结　68
同步训练　68
第4章　大数据存储　70
实例描述：HBase在阿里巴巴集团中的应用实践　70
4.1　存储技术　71
4.1.1　存储的概念与发展　71
4.1.2　存储体系结构　74
4.1.3　存储解决方案分类　74
4.2　数据库技术　76
4.2.1　数据库的概念　76
4.2.2　数据库的发展　77
4.2.3　数据库分类　78
4.2.4　数据库体系架构　80
4.3　云存储　81
4.3.1　云存储的概念与特性　81
4.3.2　云存储的结构模型　81
4.3.3　云存储的类型　83
4.4　新兴数据存储技术　84
4.4.1　新兴数据库系统　84
4.4.2　数据库未来的发展趋势　86
4.4.3　大数据存储技术　87
4.4.4　数据中心与数据仓库　88
进阶案例——国内外个人云存储产品分析（个人云存储）　91
本章小结　94
同步训练　95
第5章　大数据计算平台　98
实例描述：亚马逊大数据计算平台　98
5.1　云计算的基础知识　100
5.1.1　云计算的概念　101
5.1.2　云计算的分类　107
5.1.3　云计算的基础架构　109
5.1.4　云服务的分类　109
5.1.5　开源项目与商业化云平台　111
5.2　大数据存储与管理技术　112
5.2.1　大数据存储的多样化　112
5.2.2　大数据管理技术　112
5.2.3　大数据处理关键技术　113
5.3　Hadoop分布式平台　115
5.3.1　Hadoop的发展历史　116
5.3.2　Hadoop生态系统　116
5.3.3　HDFS　117
5.3.4　MapReduce　121
5.3.5　Hadoop其他组件　124
5.3.6　Hadoop平台的搭建　127
5.4　Spark　129
5.4.1　Spark的架构、运行流程和特点　129
5.4.2　Spark的优势　131
进阶案例——用大数据集群计算某地气温变化　135
本章小结　136
同步训练　137
第6章　数据分析与数据挖掘　139
实例描述：求职网站数据分析——用Excel进行数据分析　139
6.1　数据分析与数据挖掘的概念　142
6.1.1　数据分析的概念　142
6.1.2　数据挖掘的概念　143
6.2　数据分析　144
6.2.1　数据分析的发展情况　144
6.2.2　数据分析的应用场景　144
6.2.3　数据分析的应用工具　145
6.2.4　使用pandas进行数据分析　147
6.3　数据挖掘　153
6.3.1　数据挖掘之分类　153
6.3.2　数据挖掘之聚类　154
6.3.3　数据挖掘之关联规则　156
6.4　基于大数据的机器学习　157
进阶案例——航空公司客户分析，基于K均值聚类算法进行数据分析　158
本章小结　162
同步训练　162
第7章　数据可视化　164
实例描述：用Excel实现数据可视化　164
7.1　数据可视化之美　166
7.2　数据可视化的基础　168
7.2.1　数据可视化的分类　168
7.2.2　数据可视化的流程　169
7.2.3　数据可视化的原则　169
7.2.4　数据可视化的作用　170
7.3　数据可视化的经典图表　171
7.3.1　折线图与柱形图　171
7.3.2　饼图与环状图　172
7.3.3　雷达图与气泡图　174
7.3.4　词云图与地图　175
7.4　实用的数据可视化工具　177
7.4.1　Excel　177
7.4.2　Tableau　181
7.4.3　ECharts　182
7.4.4　数据可视化编程工具　183
7.5　数据可视化的实现——以Matplotlib为例　186
7.5.1　使用Matplotlib绘制柱形图　186
7.5.2　使用Matplotlib绘制折线图　189
7.5.3　使用Matplotlib绘制饼图　190
7.5.4　使用Matplotlib绘制散点图　191
7.5.5　使用Matplotlib绘制子图　193
进阶案例——2020年国内生产总值案例分析　194
本章小结　199
同步训练　199