目录
第一部分　基础篇
第1章　大数据处理与分析概述
1.1　Python在数据处理与分析中的优势　2
1.1.1　Python的核心优势　2
1.1.2　Python在大数据生态中的定位　3
1.2　大数据处理　4
1.2.1　大数据处理概览　5
1.2.2　数据计算模式　6
1.3　数据分析简介　7
1.3.1　数据分析流程　7
1.3.2　大数据分析方法与技术　8
1.3.3　大数据分析应用场景　10
1.3.4　大数据分析面临的挑战　11
习题　14
第2章　搭建Python开发环境
2.1　Python解释器的安装　15
2.1.1　在Windows系统下安装Python解释器　15
2.1.2　在Linux系统下安装Python解释器　17
2.1.3　在macOS系统下安装Python解释器　20
2.1.4　编写和运行第一个hello world程序　21
2.2　Anaconda的安装及环境变量配置　22
2.2.1　Anaconda简介　22
2.2.2　安装Anaconda　24
2.2.3　配置Anaconda环境变量　25
2.3　Jupyter Notebook与PyCharm的安装及工程环境设置　26
2.3.1　Jupyter Notebook简介与安装　26
2.3.2　设置Jupyter Notebook工程环境　28
2.3.3　PyCharm简介与安装　30
2.3.4　设置PyCharm工程环境　32
习题　34
第3章　使用NumPy进行数据计算
3.1　安装NumPy　35
3.2　NumPy中的数组对象　36
3.2.1　数组对象的创建　36
3.2.2　数组对象的常用属性　39
3.2.3　数组元素的访问与修改　41
3.2.4　数组对象的基础运算　42
3.2.5　数组对象的常用函数　43
3.3　使用NumPy进行数学运算　47
3.3.1　位运算函数　47
3.3.2　数学函数　48
3.3.3　算术函数　50
3.3.4　统计函数　52
3.3.5　线性代数函数　53
3.4　NumPy使用案例　56
习题　58
第4章　使用pandas进行数据分析
4.1　安装pandas　59
4.2　pandas中的对象　60
4.2.1　Series对象　60
4.2.2　DataFrame对象　62
4.3　pandas的基本操作　63
4.3.1　导入与导出数据　63
4.3.2　数据的获取　64
4.3.3　数据的增加、删除、查找、修改　66
4.4　pandas的基本运用　68
4.4.1　数据统计　68
4.4.2　算术运算与数据对齐　70
4.5　pandas使用案例　71
习题　73
第5章　数据预处理
5.1　数据清洗　74
5.1.1　数据清洗准备　74
5.1.2　数据清洗的基本操作　75
5.2　正则表达式　78
5.2.1　正则表达式的特点与组成　78
5.2.2　字符串格式化方法　80
5.2.3　re模块　83
5.3　数据规整　87
5.3.1　分组、聚合及数据透视表　87
5.3.2　数据降维　90
5.3.3　数据变换与数据归约　92
5.3.4　稀疏表示和字典学习　94
习题　95
第6章　Matplotlib数据可视化
6.1　安装Matplotlib与绘图基本步骤　97
6.1.1　安装Matplotlib　97
6.1.2　Matplotlib绘图基本步骤　98
6.2　经典图形绘制　100
6.2.1　折线图　100
6.2.2　柱状图　103
6.2.3　直方图　105
6.2.4　散点图　107
6.2.5　等值线图及地理信息可视化　111
6.3　图表的调整　115
6.3.1　图表主要组成元素调整　115
6.3.2　颜色参数和颜色映射表　120
6.4　图表的美化　121
6.4.1　一个简单的seaborn程序　122
6.4.2　displot()函数　123
6.4.3　catplot()函数　125
6.5　Matplotlib使用案例　126
习题　129
第二部分　实例篇
第7章　基于大数据的房产估价
7.1　情景问题提出及分析　132
7.2　多元回归模型介绍　132
7.3　方法与过程　133
7.3.1　读取数据并进行预处理　134
7.3.2　将预处理好的数据可视化　144
7.3.3　使用多元回归模型进行房产估价　148
7.3.4　模型效果评价　151
上机实验　153
第8章　某移动公司客户价值分析
8.1　情景问题提出及分析　154
8.2　K均值聚类算法简介　154
8.3　客户价值分析过程　157
8.3.1　读取数据并进行预处理　157
8.3.2　数据标准化　165
8.3.3　使用K均值聚类算法对客户进行分析　167
8.3.4　数据可视化和数据分析　171
上机实验　176
第9章　基于历史数据的超市日销售额及个人每日步数预测
9.1　情景问题提出及分析　178
9.2　常见的时间序列模型简介　178
9.2.1　AR模型　179
9.2.2　MA模型　180
9.2.3　ARMA模型　180
9.2.4　ARIMA模型　181
9.2.5　模型建立步骤　181
9.3　平稳时间序列建模示例（超市日销售额预测）　185
9.3.1　读取数据并进行预处理　185
9.3.2　时间序列的平稳性分析　187
9.3.3　模型选择及定阶　188
9.3.4　建立时间序列模型并预测　189
9.3.5　完整执行流程　190
9.4　非平稳时间序列建模示例（个人每日步数预测）　190
9.4.1　读取数据并进行预处理　190
9.4.2　时间序列的平稳性分析　192
9.4.3　模型选择及定阶　193
9.4.4　建立时间序列模型并预测　195
上机实验　197
第10章　智能电网的电能预估及分析
10.1　情景问题提出及分析　198
10.2　决策树算法简介　198
10.2.1　ID3算法　199
10.2.2　C4.5算法　202
10.2.3　CART算法　202
10.2.4　预剪枝与后剪枝　203
10.2.5　连续值处理　203
10.3　方法与过程　205
10.3.1　读取数据并进行预处理　205
10.3.2　模型构建　212
10.3.3　模型效果评价　214
上机实验　215
参考文献　216