第1章　大数据概述　1
1.1　数据　1
1.2　大数据　5
1.3　大数据发展历史　8
1.4　大数据研究内容　9
1.5　大数据应用场景与领域　11
第2章　大数据思维　15
2.1　数据科学　15
2.2　数据全生命周期管理　18
2.3　数据思维　26
2.4　数据范式　28
2.5　大数据思维　29
2.6　常见的大数据思维方式　29
2.7　案例　30
第3章　大数据平台　34
3.1　大数据与云计算关系　34
3.2　Hadoop平台　34
3.2.1　Hadoop简介　34
3.2.2　HDFS工作机制　36
3.2.3　HDFS命令　40
3.2.4　分布式并行计算框架MapReduce　40
3.3　Spark平台　43
3.3.1　Spark 的核心组件　43
3.3.2　Spark工作机制　45
3.3.3　分布式计算模型与方式　46
3.3.4　Hadoop和Spark对比情况　48
第4章　大数据开发　50
4.1　大数据开发流程　50
4.2　需求分析　51
4.3　数据获取　53
4.4　探索性数据分析　59
4.4.1　探索性数据分析概念　59
4.4.2　探索性数据分析理论与技术　59
4.4.3　青岛空气质量探索性数据分析　69
4.5　数据加工　77
4.5.1　数据加工的内容　77
4.5.2　数据清洗　78
4.5.3　数据转换　85
4.5.4　数据整合　98
4.5.5　青岛空气质量数据加工　99
4.6　特征工程　103
4.6.1　特征工程定义　103
4.6.2　特征选择　104
4.6.3　特征提取　108
4.6.4　特征创建　112
4.6.5　特征提取和特征选择、特征创建之间的区别　112
4.6.6　数据不平衡问题　113
4.6.7　青岛空气质量特征处理　117
4.7　数据建模　124
4.7.1　数据分析　125
4.7.2　统计方法　126
4.7.3　机器学习方法　132
4.7.4　青岛空气数据建模　139
4.7.5　大作业　144
第5章　大数据伦理与法规　145
5.1　大数据伦理概念　145
5.2　大数据伦理产生原因　147
5.3　大数据伦理治理　153
5.4　大数据伦理案例：亚马逊AI招聘工具性别歧视事件　157
5.5　大数据伦理案例：明确零工法律定位，规范平台算法管理　161
第6章　大数据与人工智能大模型　166
6.1　人工智能大模型　166
6.2　人工智能大模型的核心技术与训练方法　167
6.3　大数据与人工智能大模型的关系　170
6.4　大数据与人工智能大模型技术发展趋势　171
6.5　人工智能大模型应用领域　172
第7章　数据资产与交易流通　177
7.1　国家政策　177
7.2　数据资产　179
7.3　数据确权　184
7.4　数据资产评估　187
7.5　数据交易　195
7.6　数据流通　196
7.7　可信数据空间　198
第8章　大数据综合案例实践　203
8.1　问题提出　203
8.2　数据处理　204
8.3　数据分析　213
8.4　天气预测　218
附录　225
参考文献　233