数据采集与预处理（第2版）-图书-人邮教育社区

特别说明

本书主要介绍以下技术及应用。
（1）爬虫基本库urllib 和Selenium 的介绍与使用。
（2）BeautifulSoup 和PyQuery 解析库的介绍与使用。
（3）Scrapy 平台的搭建与应用。
（4）XPath 技术的介绍与使用。
（5）Apache Flume 平台的搭建与应用。
（6）Sqoop 的介绍与使用。
（7）Kettle 系统环境的搭建与应用。
（8）pandas 的介绍与使用。
（9）NLTK 和jieba 的介绍与使用。

内容摘要

本书以项目为引领，任务为驱动，围绕企业级数据采集与预处理应用进行项目任务设计。全书共5个项目，包括数据采集与预处理准备、网络爬虫实践、日志数据采集实践、使用Sqoop进行数据迁移、数据预处理实践。本书全面地讲述Scrapy、Flume、Sqoop、Kettle、pandas等技术，以及urllib、Selenium爬虫基本库和BeautifulSoup解析库的相关知识与应用案例。
本书内容实用，可操作性强，语言精练、通俗易懂，可作为应用型本科、职业本科、高职高专大数据技术等专业的教材，也可作为大数据分析领域从业人员的参考书。

项目1　数据采集与预处理准备　1
任务1　认识数据采集技术，熟悉数据采集平台　1
任务描述　1
任务目标　1
知识准备　1
任务实施　7
任务2　认识数据预处理技术　11
任务描述　11
任务目标　11
知识准备　11
任务实施　15
课后习题　17
项目2　网络爬虫实践　18
任务1　使用urllib爬取北京公交线路信息　18
任务描述　18
任务目标　18
知识准备　18
任务实施　39
任务2　使用Selenium爬取淘宝网站信息　47
任务描述　47
任务目标　47
知识准备　47
任务实施　63
任务3　使用Scrapy爬取北京公交信息　67
任务描述　67
任务目标　68
知识准备　68
任务实施　70
任务4　实践与拓展　76
任务描述　76
任务目标　76
课后习题　76
项目3　日志数据采集实践　79
任务1　Flume的安装和配置　79
任务描述　79
任务目标　79
知识准备　80
任务实施　85
任务2　使用Flume采集数据并上传到集群　94
任务描述　94
任务目标　94
知识准备　94
任务实施　97
任务3　实践与拓展　104
任务描述　104
任务目标　105
课后习题　105
项目4　使用Sqoop进行数据迁移　106
任务1　使用Sqoop将数据导入HDFS　106
任务描述　106
任务目标　106
知识准备　106
任务实施　108
任务2　使用Sqoop将数据导入Hive　114
任务描述　114
任务目标　114
知识准备　114
任务实施　115
任务3　使用Sqoop将数据导出到MySQL　119
任务描述　119
任务目标　119
知识准备　119
任务实施　119
任务4　实践与拓展　124
任务描述　124
任务目标　124
课后习题　124
项目5　数据预处理实践　126
任务1　用Kettle进行数据预处理　126
任务描述　126
任务目标　126
知识准备　127
任务实施　131
任务2　用pandas进行数据预处理　162
任务描述　162
任务目标　162
知识准备　162
任务实施　178
任务3　用NLTK和jieba进行文本数据预处理　194
任务描述　194
任务目标　194
知识准备　194
任务实施　204
任务4　用Flume Interceptor对日志信息进行数据预处理　216
任务描述　216
任务目标　216
知识准备　216
任务实施　219
任务5　实践与拓展　228
任务描述　228
任务目标　228
课后习题　228

读者评论

赶紧抢沙发哦！

我要评论

出版信息

书　　名：数据采集与预处理（第2版）
系列书名：工信精品大数据技术系列教材
执行编辑：本书的内容有任何问题，请联系顾梦宇
出版日期：2026-05-26
书　　号：978-7-115-68307-6
作　　者： 米洪张鸰
定　　价：49.80 元
页　　数：250
印刷方式：黑白印刷
开　　本：16开
出版状态：正在印刷

作者介绍

米洪，南京交通职业技术学院教授，江苏省教学名师、江苏省技术能手，江苏省高校“青蓝工程”优秀骨干教师，全国高等职业院校云计算、大数据赛项裁判员，先后主持江苏省高等教育教改研究课题、江苏省教育科学规划课题、江苏省现代教育技术研究课题等9项，发表北大核心论文10余篇，获得发明专利5项，实用新型7项，软件著作权多项，主编国家十三五、十四五规划教材和江苏省高等学校重点教材5部，指导江苏省技能大赛荣获一等奖5项，二等奖7项，江苏省优秀毕业设计团队奖2项。