目录
第 1章 Python入门指南 14
1.1 Python与数据分析 14
1.1.1 Python的基本概念 14
1.1.2 Python在数据分析中的作用 15
1.1.3 使用Anaconda轻松安装Python环境 16
1.1.4 使用pip管理第三方库 18
1.2 Python数据分析工具 19
1.2.1 数据分析的得力助手：Pandas、NumPy、Matplotlib 19
1.2.2 统计分析与建模工具：scikit-learn、Statsmodels 20
1.2.3 文本处理与分析的利器：jieba分词、Gensim 21
1.2.4 走进深度学习与人工智能：Tensorflow、pytorch 21
1.2.5 新潮的数据分析方法：基于大语言模型的分析——ChatGPT、Auto-GPT、pandas-ai 22
1.3 互动学习环境：Jupyter Notebook 25
1.3.1 启动Jupyter 25
1.3.2 Jupyter的功能介绍 26
1.3.3 Jupyter的常用操作技巧 27
1.3.4 Jupyter的特殊命令 29
1.3.5 个性化配置Jupyter 30
1.4 首次尝试：编写并运行第 一个的Python程序 32
素养课堂：科技强国战略下的与时俱进 33
任务实训：展示你的个性——打印出自己的名字 34
思考与练习 34

第 2章 Python基本语法 36
2.1 Python基础 36
2.1.1 Python解释器的作用 37
2.1.2 声明编码：设置文件字符编码 37
2.1.3 缩进与执行域：代码结构的重要性 37
2.1.4 优雅换行：处理长语句的技巧 37
2.1.5 注释的力量：单行和多行注释的应用 38
2.1.6 命名与赋值：变量规则和赋值方法 38
2.2数据类型 39
2.2.1 数字型数据：整数型、浮点型、布尔型和复数型 39
2.2.2 字符串型数据：文本处理基础 39
2.2.3 日期型数据：时间的表示与操作 40
2.2.4 数据类型的多样性：判断与转换技巧 41
2.3 数据结构 43
2.3.1 列表：有序数据的集合与推导式 43
2.3.2 元组：不可变的数据集合与推导式 46
2.3.3 字典：键值对的映射与推导式 47
2.3.4 集合：独特元素的集合与推导式 49
2.3.5 数据结构的转换与判断 51
2.4 条件与判断 52
2.4.1 单层条件判断：if语句的应用 52
2.4.2 嵌套条件判断：多层if语句的构建 52
2.4.3 逻辑操作：and、or的灵活运用 53
2.4.4 多条件比较：链式比较、all和any的技巧 53
2.4.5 条件的赋值：基于条件表达式的变量更新 54
2.5 循环与控制流程 54
2.5.1 for循环与条件表达式的搭配 54
2.5.2 while循环与条件的判断 54
2.5.3 循环嵌套：处理复杂问题 55
2.5.4 无限循环：正确使用与避免死循环 55
2.5.5 控制循环：break和continue的使用 55
2.6 运算符 56
2.6.1 算术运算符：数字计算的基础 56
2.6.2 赋值运算符：简化变量赋值 57
2.6.3 比较运算符：衡量数据大小 57
2.6.4 逻辑运算符：处理复杂判断 57
2.6.5 成员与身份：检验元素存在性和对象身份 58
2.6.6 运算优先级：理解运算次序 58
2.7 文本处理与正则表达式 59
2.7.1 字符串格式化：控制信息输出 59
2.7.2 字符串执行：动态生成与执行代码 61
2.7.3 内置方法：处理字符串的常见操作 62
2.7.4 正则表达式：强大的模式匹配工具 66
2.8 功能的模块化封装 69
2.8.1 函数的威力：便于重用与可维护 69
2.8.2 匿名函数：简洁的功能定义方式 71
2.8.3 类的构建：面向对象编程的基础 72
2.9 高阶函数 74
2.9.1 map：批量操作的高效工具 74
2.9.2 reduce：序列简化的高效工具 75
2.9.3 filter：条件筛选的高效工具 75
2.10 灵活导入Python库 76
2.10.1 导入标准库与第三方库 76
2.10.2 导入自定义代码库 77
2.10.3 导入库并使用别名 78
2.10.4 合理安排导入顺序 78
2.11 初探Pandas库 79
2.11.1 创建数据对象 79
2.11.2 查看数据信息 79
2.11.3 数据切片和切块 81
2.11.4 数据筛选和过滤 81
2.11.5 数据预处理操作 82
2.11.6 数据合并和匹配 83
2.11.7 数据分类汇总 84
2.11.8 高级函数使用 84
素养课堂：提升个人技能促进国家整体竞争力提升 85
任务实训：玩转列表元素，挑战多样逻辑处理 86
思考与练习 87

第3章 数据管理与读写 88
3.1 管理文件与目录 89
3.1.1 获取目录信息：了解存放数据的地方 89
3.1.2 基本目录操作：操作数据存储的技巧 90
3.1.3 路径与目录处理：路径解析与组合 92
3.1.4 判断目录是否存在：确认数据位置的方式 93
3.1.5 遍历目录：逐一查看数据 93
3.1.6 基本文件操作：数据存储的基础操作 95
3.2 数据文件的读写 97
3.2.1 处理普通文本文件：打开、写入与读取数据文件 97
3.2.2 处理平面数据文件：csv、txt、tsv等格式数据文件的读写 100
3.2.3 读写Excel文件：电子表格中的读写 104
3.2.4 读写JSON文件：轻量级数据交换格式的读写 108
3.2.5 读写统计软件文件：SPSS、SAS、Stata数据文件的读写 110
3.2.6 读写R数据文件：R数据文件的读写 114
3.3 Python操作数据库 116
3.3.1 使用关系型数据库：SQLite的读写操作 116
3.3.2 探索NoSQL数据库：MongoDB的读写实践 118
素养课堂：从数据安全到国家信息安全 120
任务实训：灵活使用多种条件提取数据库数据 121
思考与练习 122
第4章 数据探索和预处理 124
4.1 初步了解数据 124
4.1.1 数据总览 124
4.1.2 数据类型 125
4.1.3 数据分布 126
4.2 解决数据缺失 128
4.2.1 寻找缺失数据记录 128
4.2.2 识别缺失数据列 128
4.2.3 缺失数据处理方法 129
4.3 处理异常数据 131
4.3.1 根据经验判断异常值 131
4.3.2 基于平均值和标准差的异常值检测 131
4.3.3 利用分位数检测异常值 132
4.4 去除重复数据 133
4.4.1 识别重复数据 133
4.4.2 消除重复数据 134
4.5 数据抽样 134
4.5.1 随机数据抽样 134
4.5.2 分层数据抽样 134
4.6 调整数据格式和值 135
4.6.1 将文本日期转换为日期格式 135
4.6.2 提取日期和时间信息 136
4.6.3 获取日期和时间属性 136
4.7 数据处理与转换 138
4.7.1 最大-最小缩放方法 138
4.7.2 基于分位数的数据离散化 139
4.7.3 使用独热编码进行数据转换 139
素养课堂：培养合理使用数字技术的能力 140
任务实训：综合性数据预处理实践 141
思考与练习 142

第5章 数据可视化 144
5.1 数据可视化简介 144
5.1.1 常用数据可视化工具 144
5.1.2 选择适合情况的数据可视化方法 145
5.2 基础数据可视化 145
5.2.1 利用条形图和柱形图展示数据差异 147
5.2.2 使用折线图和柱状图描绘趋势变化 150
5.2.3 用饼图和面积图展示部分与整体的关系 152
5.2.4 使用散点图或蜂窝图显示数据之间的联系 155
5.3 高阶数据可视化 157
5.3.1 使用成对关系图同时显示多组数据关系 157
5.3.2 利用带回归拟合线的散点图呈现回归拟合 159
5.3.3 使用热力图揭示相关关系 159
5.3.4 以日历图展示销售随时间变化情况 160
5.3.5 利用箱型图和散点图观察数据分布 161
5.3.6 使用分类柱状图展示多维度细分值分布 163
5.3.7 用等高线图显示核密度分布 164
5.3.8 利用坡度图突显数据变化差异 165
5.3.9 使用漏斗图展示转化环节进展 166
5.3.10 利用关系图展示元素间关联 168
5.3.11 使用雷达图表现不同属性上多元素差异 170
5.3.12 用词云展示关键字分布 172
素养课堂：基于先进生产力工具的智慧洞察 174
任务实训：综合性数据可视化项目实践 174
思考与练习 175
第6章 简明数据统计分析 177
6.1 描述性统计分析 177
6.1.1 数据概述：了解数据的基本信息 179
6.1.2 数据中心趋势：探讨数据的集中趋势 179
6.1.3 数据分散趋势：研究数据的离散程度 181
6.2 数据交叉对比和趋势分析 182
6.2.1 比较不同组别数据：发现不同组别之间的差异 183
6.2.2 观察数据变化趋势：分析数据随时间的变化 185
6.3 数据结构与贡献分析 188
6.3.1 百分比分析：计算不同部分占整体的比例 188
6.3.2 二八法则：重点关注少数关键对象的影响 189
6.3.3 ABC分析：将数据按重要性分为不同等级 191
6.3.4 长尾分析：探讨不常见数据的影响 192
6.4 数据分组与聚合分析 194
6.4.1 使用分位数分析数据：将数据分成若干组并观察 194
6.4.2 基于平均值和标准差分析：以均值和变化程度为依据研究数据 195
6.4.3 RFM分析：根据消费行为将数据分成不同组别 196
6.5 数据相关性分析 199
6.5.1 Pearson相关性：分析两个变量之间的线性关系 199
6.5.2 Spearman相关性：探讨变量之间的排序关系 200
6.5.3 Kendall相关性：研究变量之间的等级关系 200
6.6 主成分分析和因子分析 201
6.6.1 主成分分析：简化数据，找出主要影响因素 202
6.6.2 因子分析：发现隐藏在数据背后的潜在因素 203
6.7 数据分析方法应用 204
6.7.1 漏斗分析：观察数据流程中的流失点 205
6.7.2 路径分析：研究因果关系路径 205
6.7.3 归因分析：确定影响特定结果的因素 205
素养课堂：跳出常规思维束缚、打破前人经验壁垒 207
任务实训：基本数据统计分析思维训练 208
思考与练习 209

第7章 数据建模与文本分析进阶 210
7.1线性回归 211
7.1.1 线性回归的基本概念和原理 211
7.1.2 线性回归的特点和适用场景 212
7.1.3 线性回归的实施步骤和关键要点 212
7.1.4 线性回归模型的效果评估 215
7.2逻辑回归 216
7.2.1 逻辑回归的基本概念和原理 216
7.2.2 逻辑回归与线性回归的联系与区别 216
7.2.3 逻辑回归的特点和适用场景 217
7.2.4 创建逻辑回归模型的步骤和要点 217
7.2.5 逻辑回归模型的效果评估 220
7.3 KMeans聚类 221
7.3.1 KMeans聚类的基本概念和原理 221
7.3.2聚类与分类的联系和区别 221
7.3.3 KMeans聚类的应用领域和优势 222
7.3.4 KMeans聚类模型的实施流程 222
7.3.5 如何选择合适的Kmeans聚类数量 225
7.3.6 KMeans模型的效果评估 226
7.4中文分词与关键字提取 226
7.4.1 中文分词的基本概念 226
7.4.2 中文分词在不同领域的应用 227
7.4.3 中文分词方法：基于词典和基于统计 227
7.4.4 关键词提取的作用和应用场景 228
7.4.5 使用TF提取关键字 228
素养课堂：营造激发创新的环境与价值观 230
任务实训：预测用户是否会产生订单 231
思考与练习 233

第8章 数据分析应用与部署 234
8.1 整合数据：批量合并数据文件 235
8.1.1 应用背景 235
8.1.2 工作需求 235
8.1.3 实现过程 235
8.2 数据萃取：从数据库提取数据生成结果 240
8.2.1 应用背景 240
8.2.2 工作需求 240
8.2.3 实现过程 240
8.3 通用信息传递：附带数据文件发送E-mail 243
8.3.1 应用背景 243
8.3.2 工作需求 243
8.3.3 实现过程 244
8.4 富媒体沟通：发送带HTML样式的邮件 251
8.4.1 应用背景 251
8.4.2 工作需求 251
8.4.3 实现过程 251
8.5 自动化任务：Python脚本与数据任务 254
8.5.1 应用背景 254
8.5.2 工作需求 254
8.5.3 实现过程 255
素养课堂：数字化创新引领企业工作方式的科技变革 261
任务实训：数据提取、处理和发送邮件自动化 261
思考与练习 263
第9章 数据分析与数据化运营策略 264
9.1 数据报告多维矩阵 265
9.1.1 临时洞察：临时数据分析 265
9.1.2 实时跟踪：实时数据分析 265
9.1.3 日常洞察：常规数据报告 266
9.1.4 专题解析：特定主题数据分析 266
9.1.5 项目评估：项目进度与效果分析 267
9.2 分析指标多元矩阵 267
9.2.1 会员视角：会员运营指标 267
9.2.2 商品视角：商品运营指标 268
9.2.3 广告视角：广告效果指标 269
9.2.4 网站视角：网站运营指标 269
9.3 探索多维度分析矩阵 270
9.3.1 目标端：业务诉求与目标的角度 270
9.3.2 媒体端：站外投放媒体的角度 270
9.3.3 用户端：用户属性与喜好的角度 271
9.3.4 网站端：数字站点体验与功能设计的角度 271
9.3.5 竞争端：市场竞争对手的角度 272
9.4 应用场景多维透视 272
9.4.1 预测效果：基于数据的业务效果预测 272
9.4.2 结论定性：从数据中得出关键业务结论 273
9.4.3 规律探究：挖掘数据中的潜在信息与规律 273
9.4.4 规则提炼：以落地为导向的应用规则提炼 274
素养课堂：从学术研究到商业应用的技术转变之路 274
任务实训：针对企业级活动的数据分析与支持 275
思考与练习 276