【章名目录】
第1章　绪论
第2章　语言单元获取
第3章　词的表示
第4章　N-gram语言模型
第5章　神经网络语言模型
第6章　预训练语言模型
第7章　大语言模型
第8章　大语言模型评测
第9章　大语言模型上下文长度拓展
第10章　大语言模型知识增强
第11章　大语言模型智能体
第12章　融合视觉信息的自然语言处理

【详细目录】
第1章　绪论
1.1　什么是自然语言处理　002
1.2　自然语言处理的知识体系　004
1.3　自然语言处理的发展　006
1.4　本书安排　010
1.5　本章习题　012

第2章　语言单元获取
2.1　语料　014
2.2　汉语切分　017
2.2.1　汉语切分任务分析　018
2.2.2　汉语切分技术　020
2.3　子词切分　023
2.4　本章小结　027
2.5　本章习题　027

第3章　词的表示
3.1　基于形符的词表示　029
3.2　基于共现的词表示　030
3.2.1　共现矩阵　030
3.2.2　GloVe模型　032
3.3　基于预测的词表示　034
3.3.1　C&W模型　034
3.3.2　CBOW模型　036
3.3.3　Skip-gram模型　037
3.3.4　词嵌入模型优化　038
3.4　词向量的评价与应用　040
3.4.1　词向量的评价　040
3.4.2　词向量的应用　042
3.5　拓展阅读　042
3.6　本章小结　043
3.7　本章习题　043

第4章　N-gram语言模型
4.1　N元语法　046
4.2　参数估计与平滑　048
4.2.1　n的影响　048
4.2.2　条件概率的估计　049
4.2.3　回退技术　050
4.2.4　平滑技术　052
4.3　语言模型的评估　055
4.3.1　N-gram模型存在的问题　057
4.3.2　基于词聚类的语言模型　057
4.4　本章小结　058
4.5　本章习题　058

第5章　神经网络语言模型
5.1　前馈神经网络语言模型　060
5.1.1　模型结构　060
5.1.2　模型训练　062
5.1.3　特别的考虑　063
5.2　循环神经网络语言模型　064
5.2.1　网络结构　064
5.2.2　模型训练　065
5.2.3　特别的考虑　066
5.3　语言序列编解码　068
5.3.1　序列到序列结构　068
5.3.2　引入注意力机制　069
5.3.3　其他的结构设计　071
5.4　语言模型与动态词表示　072
5.5　本章小结　073
5.6　本章习题　074

第6章　预训练语言模型
6.1　注意力机制　076
6.1.1　简单注意力　076
6.1.2　多头注意力　077
6.1.3　一般注意力模型　078
6.1.4　多头自注意力模型　079
6.2　Transformer模型　080
6.2.1　输入表示　081
6.2.2　编码器　081
6.2.3　解码器　083
6.2.4　模型输出及训练　085
6.3　预训练语言模型　086
6.3.1　GPT模型　086
6.3.2　BERT模型　087
6.3.3　T5模型　090
6.4　预训练-微调范式　090
6.5　拓展阅读　091
6.5.1　ALBERT模型　091
6.5.2　RoBERTa模型　092
6.5.3　GLM模型　093
6.6　本章小结　093
6.7　本章习题　093

第7章　大语言模型
7.1　预训练　095
7.1.1　模型结构　095
7.1.2　预训练目标　097
7.1.3　预训练数据　099
7.1.4　预训练策略　103
7.2　指令微调　105
7.2.1　指令微调的概念　105
7.2.2　指令数据集　105
7.2.3　指令微调总结　106
7.3　人类对齐　107
7.3.1　微调预训练　108
7.3.2　训练奖励模型　108
7.3.3　PPO优化策略　109
7.4　提示工程　110
7.4.1　提示词的组成　110
7.4.2　提示工程方法　110
7.4.3　参数高效微调　113
7.5　拓展阅读　115
7.5.1　GPT系列大语言模型　115
7.5.2　LLaMA系列大语言模型　116
7.6　本章小结　118
7.7　本章习题　118

第8章　大语言模型评测
8.1　评测的能力　120
8.2　评测任务　121
8.2.1　面向综合学科能力评测的任务　121
8.2.2　面向理解能力评测的任务　122
8.2.3　面向推理能力评测的任务　122
8.2.4　面向安全能力评测的任务　123
8.2.5　面向生成能力评测的任务　124
8.3　评测数据集　124
8.3.1　综合学科能力　124
8.3.2　理解能力　125
8.3.3　推理能力　125
8.3.4　安全能力　126
8.3.5　生成能力　127
8.3.6　其他一些数据集　128
8.4　评测指标和方法　128
8.5　本章小结　131
8.6　本章习题　131

第9章　大语言模型上下文长度拓展
9.1　基于注意力的上下文长度拓展　方法　134
9.1.1　段级循环注意力　134
9.1.2　窗口注意力　138
9.1.3　双块注意力　140
9.2　基于位置编码的上下文长度拓展方法　144
9.2.1　旋转式位置编码　144
9.2.2　位置插值　148
9.2.3　神经正切核感知插值　151
9.2.4　YaRN　153
9.3　本章小结　154
9.4　本章习题　155

第10章　大语言模型知识增强
10.1　非结构化知识增强方法　157
10.1.1　获取非结构化知识的检索技术　158
10.1.2　利用非结构化知识的生成方法　159
10.2　结构化知识增强方法　160
10.2.1　数据库　160
10.2.2　表格　161
10.2.3　知识图谱　162
10.3　评估　164
10.3.1　评估任务　164
10.3.2　数据集　165
10.3.3　评价指标和工具　166
10.4　本章小结　168
10.5　本章习题　168

第11章　大语言模型智能体
11.1　大语言模型单智能体　170
11.1.1　智能体的感知　170
11.1.2　智能体的规划　173
11.1.3　智能体的记忆　175
11.1.4　智能体的动作　177
11.1.5　智能体应用　178
11.2　大语言模型多智能体　179
11.2.1　大语言模型多智能体的应用　180
11.2.2　大语言模型多智能体的通信　186
11.2.3　大语言模型多智能体的人设　188
11.2.4　大语言模型多智能体的能力增强　188
11.3　本章小结　190
11.4　本章习题　190

第12章　融合视觉信息的自然语言处理
12.1　视觉语言多模态任务　192
12.2　多模态学习基础技术　193
12.2.1　表示技术　193
12.2.2　对齐技术　194
12.2.3　融合技术　195
12.2.4　转换技术　195
12.3　视觉语言多模态预训练模型　195
12.3.1　总体框架　195
12.3.2　预训练数据集　196
12.3.3　模型结构　197
12.3.4　预训练任务　200
12.3.5　下游任务　202
12.4　多模态大语言模型　203
12.4.1　动机　203
12.4.2　总体框架　204
12.4.3　训练数据集　204
12.4.4　模型结构　205
12.4.5　训练任务　207
12.4.6　下游任务　207
12.5　本章小结　208
12.6　本章习题　208

参考文献　209