目　录
1.1　神奇的自然语言处理　1
1.2　自然语言处理的研究任务　2
1.2.1　自然语言理解任务　3
1.2.2　自然语言生成任务　3
1.3　自然语言处理的发展历程　3
1.3.1　基于规则的自然语言处理　3
1.3.2　基于统计学习的自然语言处理　4
1.3.3　基于深度学习的自然语言处理　4
1.4　自然语言处理的挑战　5
1.5　学习建议　6
1.6　本章小结　6
1.7　习题　6


2.1　搭建开发环境　7
2.1.1　为什么选择Python　8
2.1.2　使用图形处理单元进行训练　8
2.1.3　选择Linux操作系统　9
2.1.4　Anaconda的下载与安装　9
2.1.5　Python集成开发环境PyCharm的安装　12
2.1.6　安装CUDA与cuDNN　14
2.2　深度学习框架TensorFlow　16
2.2.1　TensorFlow　16
2.2.2　安装TensorFlow　17
2.3　利用PyTorch进行深度学习　18
2.3.1　PyTorch　18
2.3.2　安装PyTorch　19
2.3.3　PyTorch样例　20
2.4　NumPy使用详解　21
2.4.1　NumPy常用算法　21
2.4.2　NumPy的常用统计函数　23
2.5　实例：使用PyTorch模块实现简单线性回归　25
2.6　本章小结　26
2.7　习题　26


3.1　卷积神经网络概述　27
3.2　卷积神经网络模型　28
3.2.1　CNN超参数　30
3.2.2　用于文本分类的CNN　32
3.3　CNN的变体　32
3.3.1　TextCNN模型　32
3.3.2　DPCNN模型　33
3.3.3　IDCNN模型　34
3.4　实例：使用PyTorch实现基于TextCNN的电影评论
　情感分析　35
3.4.1　数据集　35
3.4.2　代码实现　36
3.4.3　文本分类评价指标　43
3.5　本章小结　44
3.6　习题　44


4.1　循环神经网络概述　45
4.2　RNN模型　46
4.2.1　SRN　46
4.2.2　RNN的3种模式　47
4.3　基于门控的RNN　51
4.3.1　LSTM　51
4.3.2　LSTM的各种变体　53
4.3.3　双向长短期记忆网络　53
4.3.4　GRU　54
4.4　实例：基于THUCNews新闻标题数据集的文本
　分类　56
4.5　本章小结　61
4.6　习题　62


5.1　序列到序列模型　63
5.1.1　编码器-解码器结构　64
5.1.2　基于循环神经网络的序列到序列模型　65
5.1.3　Seq2Seq模型的实现　66
5.2　注意力机制　68
5.2.1　注意力和注意力机制　68
5.2.2　注意力模型　69
5.2.3　注意力权重的可视化　70
5.3　Transformer　71
5.3.1　Transformer模型　72
5.3.2　位置编码　72
5.3.3　自注意力机制　75
5.3.4　多头注意力机制　78
5.4　Transformer模型的变体　79
5.5　本章小结　79
5.6　习题　80


6.1　序列标注概述　81
6.2　序列标注算法和模型　82
6.2.1　基于规则的序列标注算法　82
6.2.2　基于统计的序列标注模型　83
6.2.3　基于深度学习的序列标注模型　94
6.3　分词与词性标注实战　95
6.3.1　语料库与标注集　95
6.3.2　实例：基于人民日报标注语料库的分词及词性
　标注　97
6.4　实例：基于人民日报标注语料库的命名实体
　识别　102
6.5　本章小结　107
6.6　习题　107


7.1　文本的表示　108
7.1.1　词的独热表示　108
7.1.2　词的分布式表示　109
7.1.3　词嵌入表示　110
7.2　语言模型　110
7.2.1　N-gram模型　111
7.2.2　N-gram模型的定义　111
7.2.3　语言模型评价指标　112
7.3　词向量模型　113
7.3.1　神经网络语言模型　113
7.3.2　C&W模型　115
7.3.3　CBOW模型和Skip-gram模型　116
7.3.4　GloVe模型　118
7.3.5　训练词向量　119
7.3.6　评价方法　122
7.4　向量化模型　125
7.4.1　PV-DM模型　125
7.4.2　PV-DBOW模型　126
7.5　实例：将网页文本向量化　126
7.5.1　词向量的训练　127
7.5.2　计算网页相似度　129
7.6　本章小结　132
7.7　习题　132


8.1　机器翻译的发展　133
8.2　机器翻译的分类　134
8.3　统计机器翻译　136
8.4　神经机器翻译　139
8.4.1　数据集　139
8.4.2　基于RNN的英译中机器翻译实战　140
8.4.3　基于Transformer模型的中译英机器翻译
　实战　145
8.5　机器翻译评价　150
8.5.1　人工评价方法　150
8.5.2　自动评价方法　150
8.6　本章小结　151
8.7　习题　152


9.1　预训练语言模型概述　153
9.1.1　预训练起源　153
9.1.2　预训练语言模型的发展史　154
9.1.3　预训练语言模型的分类　156
9.2　GPT模型　157
9.2.1　GPT模型概述　157
9.2.2　GPT模型结构　157
9.3　BERT模型　160
9.3.1　整体结构　161
9.3.2　输入表示　161
9.3.3　基本预训练任务　167
9.3.4　更多预训练任务　171
9.4　BERT模型的变体　171
9.4.1　ALBERT模型　171
9.4.2　RoBERTa模型　172
9.5　其他预训练模型　172
9.5.1　T5模型　172
9.5.2　XLNet模型　173
9.5.3　BART模型　173
9.6　本章小结　174
9.7　习题　174


10.1　情感分析实战　175
10.1.1　数据集　176
10.1.2　数据预处理　176
10.1.3　代码实现　177
10.1.4　文本分类评价指标　181
10.1.5　实战结果　182
10.2　文本摘要抽取实战　182
10.2.1　数据集　183
10.2.2　数据预处理　184
10.2.3　代码实现　185
10.2.4　文本摘要抽取评价指标　186
10.2.5　实战结果　187
10.3　本章小结　187
10.4　习题　188


11.1　初识生成式人工智能　189
11.2　大模型的发展历程　191
11.3　大模型的变革与挑战　192
11.4　国产常用大模型　194
11.5　国产大模型应用举例——利用文心一言辅助编程　195
11.6　本章小结　197
11.7　习题　197


参考文献　198