第1章　绪论　1
1.1　NLP概述　2
1.1.1　NLP的发展历程　3
1.1.2　NLP的研究内容　4
1.1.3　NLP的应用　6
1.1.4　NLP与人工智能技术的关系　7
1.1.5　学习NLP的困难　7
1.1.6　中文NLP的挑战　8
1.2　中文NLP基本流程　9
1.2.1　语料获取　9
1.2.2　语料预处理　10
1.2.3　文本向量化　10
1.2.4　模型构建　10
1.2.5　模型训练　10
1.2.6　模型评价　11
1.3　NLP的Python开发环境　11
1.3.1　NLP与Python　11
1.3.2　Anaconda简介与安装　12
1.3.3　Anaconda中应用的简介　16
1.4　任务：构建中文文本高频词云图　22
小结　24
课后习题　25

第2章　语料库　26
2.1　语料库概述　27
2.1.1　语料库的特点　27
2.1.2　语料库的用途　28
2.2　语料库种类与构建原则　29
2.2.1　语料库种类　29
2.2.2　语料库构建原则　29
2.3　语料库的获取　30
2.3.1　中文开源语料库　30
2.3.2　网络在线语料库　31
2.4　任务：网络在线语料分析　32
2.5　任务：构建电影评论语料库　34
小结　36
实训　36
实训1　构建语料库　36
实训2 《七剑下天山》语料库分析　36
课后习题　37

第3章　正则表达式　38
3.1　正则表达式简介　39
3.1.1　正则表达式的应用范围　39
3.1.2　正则表达式函数　40
3.1.3　正则表达式元字符　45
3.2　任务：正则表达式应用　49
3.2.1　常用正则表达式搭配　49
3.2.2　常用正则表达式示例　50
小结　54
实训　54
实训1　过滤《三国志》中的非中文字符　54
实训2　提取地名与邮编　54
实训3　提取网页标签中的文本　54
课后习题　55

第4章　中文分词　56
4.1　中文分词简介　57
4.1.1　中文分词的难点　57
4.1.2　中文分词方法　58
4.2　基于规则的分词　59
4.2.1　正向最大匹配法　59
4.2.2　逆向最大匹配法　61
4.2.3　双向最大匹配法　63
4.3　基于统计的分词　64
4.3.1　HMM　64
4.3.2　中文分词与HMM　68
4.4　基于深度学习的分词　70
4.4.1　基于深度学习的分词的主要步骤　70
4.4.2　基于深度学习的中文分词示例　71
4.5　中文分词工具jieba　75
4.5.1　jieba算法简介　76
4.5.2　jieba分词模式　76
4.6　任务：中文分词的应用　77
4.6.1　HMM中文分词　77
4.6.2　提取新闻文本的高频词　82
小结　84
实训　85
实训1　使用HMM进行中文分词　85
实训2　提取新闻文本中的高频词　85
课后习题　85

第5章　词性标注和命名实体识别　87
5.1　词性标注简介　88
5.2　词性标注模型　89
5.2.1　基于HMM的词性标注　89
5.2.2　基于深度学习的词性标注　91
5.3　基于jieba的词性标注　94
5.4　命名实体识别　95
5.4.1　命名实体识别简介　95
5.4.2　基于CRF模型的中文命名实体识别　95
5.4.3　基于深度学习的中文命名实体识别　99
5.5　任务：使用sklearn-crfsuite库进行中文命名实体识别　102
5.5.1　sklearn-crfsuite库简介　102
5.5.2　使用sklearn-crfsuite库进行中文命名实体识别的流程　102
小结　110
实训　中文命名实体识别　110
课后习题　110

第6章　关键词提取　112
6.1　关键词提取简介　113
6.2　关键词提取方法　113
6.2.1　基于统计的方法　113
6.2.2　基于语义的方法　118
6.3　任务：自动提取文本关键词　123
6.3.1　文本预处理　123
6.3.2　TF-IDF算法　125
6.3.3　TextRank算法　126
6.3.4　LSI算法　128
小结　130
实训　130
实训1　文本预处理　130
实训2　使用TF-IDF算法提取关键词　130
实训3　使用TextRank算法提取关键词　131
实训4　使用LSA算法提取关键词　131
课后习题　131

第7章　文本向量化　133
7.1　文本向量化简介　134
7.2　文本向量化的离散化表示　135
7.2.1　独热编码　135
7.2.2　BoW模型　136
7.2.3　TF-IDF方法　138
7.3　文本向量化的分布式表示　139
7.3.1　常见的文本向量化的分布式表示的方法　139
7.3.2　Word2Vec模型　140
7.3.3　Doc2Vec模型　145
7.4　任务：文本相似度计算　150
7.4.1　Word2Vec词向量的训练　150
7.4.2　Doc2Vec段落向量的训练　152
7.4.3　计算文本相似度　153
小结　158
实训　159
实训1　实现基于Word2Vec模型的新闻语料词向量训练　159
实训2　实现基于Doc2Vec模型的新闻语料段落向量训练　159
实训3　使用Word2Vec模型和Doc2Vec模型计算新闻文本的相似度　159
课后习题　160

第8章　文本分类和文本聚类　161
8.1　文本挖掘简介　162
8.2　文本分类　163
8.2.1　文本分类算法　163
8.2.2　文本分类的应用　164
8.2.3　中文文本分类的步骤　164
8.3　文本聚类　166
8.3.1　文本聚类算法　166
8.3.2　文本聚类的应用　167
8.3.3　中文文本聚类的步骤　167
8.4　任务：垃圾短信分类　169
8.4.1　数据读取　170
8.4.2　数据预处理　171
8.4.3　词频统计　172
8.4.4　分类　174
8.4.5　模型评价　175
8.5　任务：新闻文本聚类　175
8.5.1　数据读取　176
8.5.2　文本预处理　177
8.5.3　特征提取　177
8.5.4　聚类　178
8.5.5　模型评价　179
小结　180
实训　180
实训1　基于朴素贝叶斯的新闻分类　180
实训2　书名文本聚类分析　180
课后习题　181

第9章　文本情感分析　182
9.1　文本情感分析简介　183
9.1.1　文本情感分析的主要内容　183
9.1.2　文本情感分析的常见应用　192
9.2　文本情感分析的常用方法　193
9.2.1　基于情感词典的分析方法　193
9.2.2　机器学习方法　195
9.2.3　深度学习方法　199
9.3　任务：基于情感词典的文本情感分析　202
9.4　任务：基于机器学习的文本情感分析　205
9.4.1　基于朴素贝叶斯分类的文本情感分析　205
9.4.2　基于snownlp的文本情感分析　208
小结　209
实训　209
实训1　基于情感词典的豆瓣评论文本情感分析　209
实训2　基于朴素贝叶斯的豆瓣评论文本情感分析　209
实训3　基于snownlp的豆瓣评论文本情感分析　209
课后习题　210

第10章　NLP中的深度学习技术　211
10.1　RNN概述　212
10.2　RNN结构　213
10.2.1　多对一结构　213
10.2.2　等长的多对多结构　214
10.2.3　非等长结构　216
10.3　任务：基于LSTM的文本分类与情感分析　218
10.3.1　文本分类　218
10.3.2　情感分析　228
10.4　任务：基于Seq2Seq的机器翻译　233
10.4.1　语料预处理　233
10.4.2　构建模型　237
10.4.3　定义优化器及损失函数　240
10.4.4　训练模型　241
10.4.5　翻译　243
小结　245
实训　245
实训1　实现基于LSTM的文本分类　245
实训2　实现基于LSTM的情感分析　246
实训3　实现基于Seq2Seq的机器翻译　246
课后习题　247

第11章　智能问答系统　248
11.1　智能问答系统简介　249
11.2　智能问答系统的主要组成部分　250
11.2.1　问题理解　250
11.2.2　知识检索　250
11.2.3　答案生成　251
11.3　任务：基于Seq2Seq的智能问答系统　252
11.3.1　读取语料　252
11.3.2　语料预处理　253
11.3.3　模型构建　257
11.3.4　模型训练　263
11.3.5　模型评价　271
小结　271
实训　基于Seq2Seq模型的聊天机器人　271
课后习题　272

第12章　大语言模型　273
12.1　大语言模型简介　274
12.2　中文大语言模型　275
12.2.1　国内中文大语言模型　275
12.2.2　调用大语言模型API　276
12.3　讯飞星火认知大模型　277
12.3.1　讯飞星火认知大模型简介　277
12.3.2　调用讯飞星火认知大模型API　277
12.4　讯飞星火认知大模型API程序开发应用　278
12.4.1　常见应用　279
12.4.2　API开发应用示例　279
小结　284
实训　API开发相关应用　284
课后习题　285

第13章　基于TipDM大数据挖掘建模平台实现垃圾短信分类　286
13.1　在TipDM大数据挖掘建模平台上配置垃圾短信分类示例的流程　287
13.2　数据读取　289
13.3　数据预处理　290
13.4　模型构建与训练　303
小结　304
实训　基于TipDM大数据挖掘建模平台实现基于朴素贝叶斯的新闻分类　304
课后习题　304