自然语言处理（微课版）-图书-人邮教育社区

内容摘要

本书与深度学习、大语言模型技术紧密结合，确保内容的先进性和实用性。通过系统化的介绍，按照自然语言处理核心任务的逻辑顺序，引导读者深入了解并掌握最新技术。本书内容分为两个部分，共9章。第一部分为前三章，主要介绍自然语言处理领域学习所需的理论基础，包括预备知识、深度神经网络以及语言模型预训练，前三章的理论讲解依次递进，为后续章节的核心任务作铺垫；第二部分为后六章，主要介绍了自然语言处理的六个核心任务，包括生成式文本摘要、情感分析、信息抽取、机器阅读理解、机器翻译和对话系统，后六章的内容从实践出发，与当前预训练大语言模型相结合，深度剖析自然语言处理的核心任务与部署实践。本书适合作为高等院校计算机科学与技术、数据科学与大数据及相关专业的教材，也可作为自然语言处理相关从业者的参考用书。

第 1部分理论基础
第 1章预备知识...............................1
1.1 概率论基本概念 ......................2
1.1.1 概率的基本要素...........2
1.1.2 随机变量与分布函数 ....3
1.2 信息论基本概念 ......................5
1.2.1 自信息..........................5
1.2.2 信息熵..........................5
1.2.3 交叉熵..........................6
1.2.4 相对熵..........................6
1.2.5 互信息..........................6
1.3 图论基本概念 ..........................6
1.3.1 图的基本定义 ..............7
1.3.2 路径与连通性 ..............8
1.3.3 图遍历算法 ..................9
1.3.4 最短路径算法 ............10
1.4 机器学习基本概念 ................12
1.4.1 机器学习方法分类.....12
1.4.2 机器学习基本步骤.....13
1.4.3 欠拟合与过拟合........ 14
1.4.4 模型评估与模型
选择 .......................... 14
1.5 自然语言处理基本概念 .........15
1.5.1 自然语言处理的发展
历程 .......................... 16
1.5.2 自然语言处理的
挑战 ...........................17
1.5.3 自然语言处理的传统
任务 .......................... 18
1.6 本书内容安排 ........................20
本章小结 .........................................21
本章练习 .........................................21
第 2章深度神经网络 ...................22
2.1 线性神经网络 ........................23
2.1.1 线性回归....................23
2.1.2 逻辑回归 ................... 24
2.1.3 多类别逻辑回归........ 26
2.2 神经网络训练 ....................... 26
2.2.1 损失函数 ....................27
2.2.2 优化算法 ................... 28
2.3 前馈神经网络 ....................... 30
2.3.1 多层感知机 ............... 30
2.3.2 前向传播 ................... 31
2.3.3 反向传播 ....................32
2.4 卷积神经网络 ....................... 33
2.4.1 卷积层....................... 33
2.4.2 池化层....................... 34
2.5 循环神经网络 ....................... 34
本章小结 ........................................ 35
本章练习 ........................................ 35
第3章语言模型预训练 ............. 36
3.1 简介 ...................................... 37
3.1.1 语言模型预训练的
任务 .......................... 37
自然语言处理（微课版）——基于深度学习与大语言模型 2
3.1.2 预训练语言模型基础
结构........................... 38
3.1.3 应用介绍 ................... 39
3.2 掩码预训练模型BERT......... 41
3.2.1 BERT网络结构 ........ 41
3.2.2 BERT输入表示 ........ 42
3.2.3 BERT训练 ................ 43
3.3 GPT系列模型 ...................... 45
3.3.1 GPT-1 ..................... 45
3.3.2 GPT-2 ..................... 47
3.3.3 GPT-3 ..................... 48
3.4 预训练语言模型优化 ............ 50
3.4.1 模型压缩 ................... 50
3.4.2 大语言模型的微调
适配........................... 51
3.4.3 CANN计算架构
介绍........................... 54
3.5 代码解析............................... 55
3.5.1 位置编码 ................... 55
3.5.2 编码器 ....................... 56
3.5.3 解码器 ....................... 59
3.5.4 Transformer架构 .... 60
本章小结 ........................................ 61
本章练习 ........................................ 62
第 2部分核心任务
第4章生成式文本摘要.............. 63
4.1 引言 ...................................... 64
4.1.1 文本摘要任务............ 64
4.1.2 序列生成架构............ 65
4.2 文本输入的长期依赖问题 .... 66
4.2.1 长期依赖问题............ 66
4.2.2 门控循环单元............ 66
4.2.3 长短期记忆网络 ........ 67
4.2.4 梯度裁剪与正则化 .... 68
4.3 复杂的长文本编码方案 ........ 70
4.3.1 双向卷积神经网络 .... 70
4.3.2 层级式卷积神经
网络........................... 70
4.4 基于双向LSTM的文本
摘要 ...................................... 71
4.5 基于预训练语言模型的文本
摘要 ...................................... 77
4.5.1 基于BERT的文本摘要
模型........................... 77
4.5.2 预训练模型与长文本
摘要........................... 78
本章小结 ........................................ 79
本章练习 ........................................ 79
第5章情感分析............................ 80
5.1 引言 ...................................... 81
5.1.1 情感分类 ................... 82
5.1.2 方面抽取 ................... 82
5.1.3 观点抽取 ................... 84
5.2 基于注意力机制的情感
分析 ...................................... 86
5.2.1 注意力机制简介 ........ 86
5.2.2 通用注意力机制
框架........................... 87
5.2.3 注意力机制分类 ........ 88
5.2.4 应用实例——基于注意
力机制的方面级别情感
分类........................... 89
5.3 基于图神经网络的情感
分析 ...................................... 92
5.3.1 图神经网络简介 ........ 92
5.3.2 图注意力网络及多头
注意力机制 ............... 93
目录 3
5.3.3 应用实例——基于图神
经网络的方面级别情感
分类 .......................... 94
5.4 预训练情绪分析模型............ 96
5.4.1 基于预训练模型的
方法 .......................... 96
5.4.2 基于MindSpore实现的
情感分析实例 ........... 97
本章小结 ...................................... 101
本章练习 ...................................... 101
第6章信息抽取 ......................... 102
6.1 信息抽取简介..................... 103
6.2 命名实体识别 ..................... 104
6.2.1 任务简介................. 104
6.2.2 命名实体识别模型 ...105
6.3 实体链接 ............................ 106
6.3.1 引言 ........................ 106
6.3.2 实体链接通用架构.... 107
6.3.3 实体链接方向 ......... 110
6.4 关系抽取 ............................ 112
6.4.1 引言 ........................ 112
6.4.2 关系抽取方法 ......... 112
6.4.3 关系抽取方向 ......... 113
6.5 事件抽取 ............................ 114
6.5.1 引言 ........................ 114
6.5.2 事件抽取面临的
挑战 ........................ 115
6.5.3 限定域事件抽取...... 116
6.5.4 开放域事件抽取...... 119
6.6 小样本信息抽取 ................. 121
6.7 预训练信息抽取模型.......... 122
本章小结 ...................................... 124
本章练习 ...................................... 124
第7章机器阅读理解................ 125
7.1 机器阅读理解简介 ............. 126
7.1.1 机器阅读理解任务... 126
7.1.2 机器阅读理解模型
架构 ........................ 128
7.2 常见的机器阅读理解模型.... 129
7.2.1 双向注意力流模型 ...129
7.2.2 R-Net模型 ............. 132
7.2.3 阅读验证模型 ......... 134
7.2.4 回溯式阅读模型...... 137
7.3 预训练的机器阅读理解
模型.................................... 139
7.3.1 微调BERT数据
设置 ........................ 139
7.3.2 微调BERT训练
设置 ........................ 141
本章小结 ...................................... 142
本章练习 ...................................... 142
第8章机器翻译 ......................... 144
8.1 机器翻译简介 ..................... 145
8.1.1 机器翻译的任务...... 145
8.1.2 机器翻译模型
架构 ........................ 145
8.2 神经翻译模型 ..................... 147
8.2.1 基于循环神经网络的
机器翻译 ................. 147
8.2.2 基于卷积神经网络的
机器翻译 ................. 148
8.2.3 基于自注意力机制的
机器翻译 ................. 148
自然语言处理（微课版）——基于深度学习与大语言模型 4
8.3 机器翻译中的搜索问题 ...... 153
8.3.1 搜索问题简介.......... 153
8.3.2 贪婪搜索和束
搜索.........................154
8.4 机器翻译的领域适应
问题 .................................... 155
8.4.1 领域适应问题.......... 155
8.4.2 跨语言预训练的迁移
学习......................... 157
8.5 预训练的机器翻译模型 ......158
8.5.1 机器翻译的单语预
训练.........................159
8.5.2 机器翻译的多语预
训练.........................160
本章小结 ......................................160
本章练习 ......................................160
第9章对话系统..........................161
9.1 对话系统简介 ..................... 162
9.1.1 对话系统的技术
演变......................... 162
9.1.2 对话系统的模型
架构......................... 162
9.2 封闭域任务型对话系统 ......165
9.2.1 自然语言理解
模块.........................166
9.2.2 对话管理模块..........166
9.2.3 对话状态追踪与对话
策略.........................168
9.2.4 自然语言生成
模块.........................170
9.3 开放域对话系统 .................170
9.3.1 开放域对话背景 ......170
9.3.2 开放域对话系统
框架.........................171
9.3.3 检索式对话 .............173
9.3.4 生成式对话 .............174
9.4 基于预训练大模型的对话
系统 ....................................177
9.4.1 ChatGPT的发展
历程.........................177
9.4.2 ChatGPT的核心技术
原理.........................178
本章小结 ......................................180
本章练习 ......................................180
附录1 各章重点概念中英
对照 ...................................181
附录2 推荐阅读技术资料及各章
练习参考答案.................186