1 深度学习基础 15
1.1 深度学习的分类 15
1.1.1 监督学习 16
1.1.2 无监督学习 16
1.1.3 其他分类 16
1.2 回归模型 17
1.2.1 线性回归 17
1.2.2 逻辑回归 18
1.3 深度神经网络 19
1.3.1 感知机 19
1.3.2 DNN 网络结构 20
1.4 激活函数 21
1.5 卷积神经网络 23
1.5.1 二维卷积运算 23
1.5.2 池化层 25
1.5.3 全连接层 26
1.6 循环神经网络 26
1.6.1 原始循环神经网络 26
1.6.2 门控循环单元 27
1.6.3 长短期记忆网络 28
1.7 自注意力机制和 Transformer模型 29
1.7.1 自注意力机制 29
1.7.2 Transformer模型 31
1.8 训练算法 32
1.8.1 梯度下降 33
1.8.2 反向传播 34
1.8.3 其他优化算法 35
1.9 参数初始化和归一化 37
1.9.1 全零初始化和随机初始化 37
1.9.2 Xavier 初始化 37
1.9.3 He 初始化 39
1.9.4 批量归一化和层归一化 39
1.10 神经网络压缩与搜索 40
1.10.1 网络剪枝 40
1.10.2 参数量化 41
1.10.3 知识蒸馏 41
1.10.4 神经网络架构搜索 42
1.11 本章小结 44
1.12 习题 44
2 视觉模型 45
2.1 图像分类 45
2.1.1 LeNet 46
2.1.2 AlexNet 46
2.1.3 VGG 47
2.1.4 GoogLeNet 48
2.1.5 ResNet 49
2.1.6 DenseNet 50
2.1.7 Vision Transformer 51
2.1.8 Swin Transformer 52
2.2 目标检测 53
2.2.1 R-CNN 53
2.2.2 Fast R-CNN 54
2.2.3 Faster R-CNN 55
2.2.4 YOLO 56
2.2.5 SSD 57
2.2.6 DETR 58
2.3 语义分割 59
2.3.1 FCN 59
2.3.2 U-Net 60
2.3.3 DeepLab 系列 61
2.3.4 SegFormer 62
2.4 自监督学习 63
2.4.1 任务定义 63
2.4.2 对比学习 64
2.4.3 图像掩码学习 66
2.5 针对视觉模型的对抗攻击 67
2.5.1 攻击扰动类型 68
2.5.2 白盒对抗攻击 68
2.5.3 黑盒对抗攻击 71
2.5.4 物理世界攻击 72
2.6 视觉模型的防御方法 73
2.6.1 认证防御 74
2.6.2 对抗性（重新）训练作为防御机制 75
2.6.3 利用对抗性示例 75
2.6.4 鲁棒优化 75
2.6.5 Ensemble 对抗训练 76
2.6.6 正则化方法 76
2.6.7 可验证防御：随机平滑 77
2.7 本章小结 78
2.8 习题 78
3 自然语言处理 80
3.1 自然语言处理简介 80
3.1.1 自然语言处理概念阐述 80
3.1.2 自然语言结构分析简述 82
3.2 基于深度学习的自然语言处理 85
3.2.1 基于深度学习的文本表征 85
3.2.2 基于深度学习的传统建模范式 89
3.3 预训练-微调和上下文学习范式 91
3.3.1 预训练-微调范式 91
3.3.2 上下文学习范式 94
3.4 基于深度学习的序列模型架构 97
3.4.1 循环神经网络 97
3.4.2 外部记忆网络 98
3.5 深度自然语言模型的应用 99
3.5.1 信息抽取 99
3.5.2 机器理解问答 100
3.5.3 机器翻译 102
3.5.4 对话系统 103
3.6 自然语言处理现存的开放问题 105
3.7 本章小结 109
3.8 习题 109
4 生成模型及其提示学习 110
4.1 变分自编码器（VAE） 110
4.1.1 自编码器 111
4.1.2 问题定义 111
4.1.3 优化目标 112
4.1.4 正态分布实例 113
4.2 生成对抗网络（GAN） 114
4.2.1 生成器与判别器 114
4.2.2 算法设计 115
4.3 扩散模型（DM） 116
4.3.1 前向过程与反向过程 116
4.3.2 训练与生成 117
4.4 自然语言提示学习方法 118
4.4.1 完型填空提示 119
4.4.2 前缀提示 120
4.5 计算机视觉提示学习方法 120
4.5.1 串接提示向量 121
4.5.2 学习提示网络层 121
4.5.3 添加像素级扰动 121
4.5.4 提示键值查询 121
4.5.5 网络结构搜索 121
4.5.6 样例模版创建 122
4.6 视觉语言多模态提示学习方法 122
4.6.1 纯文本提示学习 122
4.6.2 图文联合提示学习 123
4.6.3 组合提示学习 123
4.6.4 基于分布的提示学习 124
4.6.5 基于梯度的提示学习 124
4.6.6 图文对齐的提示学习 124
4.7 本章小结 124
4.8 习题 124
5 深度强化学习 126
5.1 强化学习基础 126
5.1.1 强化学习的基本概念 126
5.1.2 马尔科夫决策过程 127
5.2 表格型强化学习 128
5.2.1 动态规划 129
5.2.2 蒙特卡洛方法 129
5.2.3 时序差分算法 130
5.3 深度价值估计 132
5.3.1 深度 Q 网络算法 132
5.3.2 DQN 中的过估计问题 133
5.3.3 DQN 改进算法 133
5.4 策略梯度 134
5.4.1 策略梯度定理 135
5.4.2 信任区域策略优化 136
5.4.3 近端策略优化 137
5.4.4 深度确定性策略梯度 138
5.5 本章小结 140
5.6 习题 141
6 自动驾驶 142
6.1 背景介绍 142
6.1.1 历史发展 142
6.1.2 技术分级 143
6.2 自动驾驶系统 144
6.2.1 整体架构 144
6.2.2 硬件系统 144
6.2.3 软件系统 145
6.3 数据集和榜单生态 146
6.3.1 概述 146
6.3.2 感知类数据集 146
6.3.3 建图类数据集 147
6.3.4 预测及规划数据集 148
6.3.5 数据算法闭环体系 149
6.4 感知算法 150
6.4.1 单目感知技术 150
6.4.2 俯视图感知技术 151
6.4.3 激光雷达算法 152
6.4.4 传感器融合算法 153
6.5 端到端自动驾驶 154
6.5.1 端到端 vs. 模块化 155
6.5.2 发展历程 155
6.5.3 主流工作 156
6.5.4 现状与挑战 159
6.5.5 未来发展趋势 159
6.6 本章小结 160
6.7 习题 160
7 人工智能驱动的科学研究 161
7.1 AI 与科学研究范式的变迁 161
7.1.1 模型驱动：AI 加速计算求解 162
7.1.2 数据驱动：AI 处理科学大数据 165
7.1.3 模型与数据的融合：AI4S 的系统工程 165
7.2 AI4S 的科学数据表征 166
7.2.1 图的基础知识 166
7.2.2 图的表示学习 168
7.2.3 谱域图神经网络 170
7.2.4 空域图神经网络 172
7.2.5 图生成 174
7.3 AI4S 实战案例：显微镜下的 AI——AI 赋能材料表征 176
7.3.1 材料科学背景知识 177
7.3.2 问题描述：二维材料缺陷检测 178
7.3.3 主要挑战：标注数据的困难 179
7.3.4 解决方案 180
7.3.5 效果展示与工具使用 182
7.4 AI4S “四梁N 柱”的发展框架 182
7.4.1 基本原理与数据驱动的算法模型和软件系统 184
7.4.2 高效率、高精度的实验表征系统 186
7.4.3 替代文献的数据库与知识库系统 188
7.4.4 高度整合的算力平台系统 189
7.5 本章小结 191
7.6 习题 191
8 参考文献 192