目 录
第1章 人工智能基础 1
1.1 什么是人工智能 1
1.1.1 “智能”的概念 1
1.1.2 人工智能的历史 2
1.1.3 人工智能定义 3
1.1.4 人工智能大师 4
1.2 人工智能实现途径 5
1.3 人工智能知识基础 6
1.3.1 机器学习 6
1.3.2 人工神经网络 7
1.3.3 深度学习 7
1.3.4 监督与无监督学习 8
1.3.5 计算机建模 9
1.4 人工的智能行为 10
1.4.1 类人行为：图灵测试 10
1.4.2 类人思考：认知建模 11
1.4.3 理性思考：“思维法则” 12
1.4.4 理性行为：理性智能体 12
【作 业】 13
【实践与思考】了解典型的开源大模型 15
第2章 语言模型及其发展 18
2.1 什么是生成式人工智能 18
2.2 生成式人工智能原理 18
2.2.1 关键特征和类型 19
2.2.2 词元及其标记化 19
2.2.3 基础模型 20
2.2.4 大模型的幻觉 21
2.2.5 世界模型问题 24
2.2.6 知识传递和语言支持 25
2.2.7 开源还是闭源 25
2.3 大语言模型如何工作 26
2.3.1 Blockhead思维实验 26
2.3.2 大模型的历史基础 26
2.3.3 词嵌入及其含义 28
2.3.4 基于Transformer模型 28
2.3.5 自注意力机制 29
2.4 大模型的定义 30
2.4.1 模型预训练和微调 30
2.4.2 大模型的特征 31
2.4.3 大模型的优势 31
【作 业】 32
【实践与思考】基于ChatGPT的免费工具：ChatAI小组件 34
第3章 语言模型及其发展 37
3.1 语言模型的定义 37
3.2 大模型发展三阶段 38
3.2.1 基础模型阶段 38
3.2.2 能力探索阶段 39
3.2.3 突破发展阶段 39
3.3 Transformer模型 40
3.3.1 Transformer核心 40
3.3.2 Transformer过程 41
3.3.3 Transformer结构 45
3.3.4 Transformer模块 45
3.4 混合专家架构 46
【作 业】 50
【实践与思考】熟悉阿里云大模型“通意千问” 52
第4章 大模型架构 55
4.1 大模型生成原理 55
4.1.1 GPT工作原理 55
4.1.2 思维链 56
4.1.3 上下文学习 61
4.1.4 指令微调 62
4.1.5 零样本/少样本 62
4.1.6 训练策略及优化技术 62
4.2 多模态语言模型 63
4.2.1 多模态指令微调 63
4.2.2 多模态上下文学习 64
4.2.3 多模态思维链 64
4.2.4 大模型辅助视觉推理 65
4.3 大模型的结构 65
4.3.1 模型结构 65
4.3.2 注意力机制 66
4.4 应用技术架构 67
4.4.1 指令工程 68
4.4.2 函数调用 68
4.4.3 检索增强生成 68
4.4.4 微调 69
【作 业】 69
【实践与思考】熟悉百度大模型“文心一言” 71
第5章 人工数据标注 75
5.1 知识表示方法 75
5.1.1 知识的概念 75
5.1.2 知识表示的定义 76
5.1.3 知识表示的过程 77
5.2 什么是数据标注 78
5.3 数据标注分类 79
5.3.1 图像标注 79
5.3.2 语音标注 80
5.3.3 3D点云标注 80
5.3.4 文本标注 81
5.4 执行数据标注 81
5.4.1 制定标注规则 82
5.4.2 数据标注过程 82
5.4.3 标注团队管理 85
5.5 智能数据标注 85
【作 业】 86
【实践与思考】熟悉Globe Explorer智能搜索引擎 88
第6章   大模型预训练数据 90
6.1 数据来源 90
6.1.1 通用数据 91
6.1.2 专业数据 92
6.2 数据处理 93
6.2.1 质量过滤 93
6.2.2 冗余去除 94
6.2.3 隐私消除 94
6.2.4 词元切分 95
6.3 数据影响分析 96
6.3.1 数据规模 96
6.3.2 数据质量 97
6.4 典型的开源数据集 97
6.4.1 Pile 97
6.4.2 ROOTS 99
6.5 训练集、测试集、验证集的异同 100
6.5.1 训练、测试与验证数据集的不同之处 100
6.5.2 训练、测试与验证数据集的相似之处 102
6.6 数据集面临的挑战 103
6.6.1 规模和质量待提升 103
6.6.2 大模型与数据集相辅相成 104
6.6.3 标准规范需健全 104
6.6.4 存储性能待提高 105
【作 业】 106
【实践与思考】熟悉科大讯飞大模型“讯飞星火认知” 108
第7章   大模型开发组织 112
7.1 大模型开发流程 112
7.2 大模型数据的组织 114
7.2.1 数据采集 115
7.2.2 数据清洗和预处理 115
7.2.3 数据标注 116
7.2.4 数据集划分 116
7.2.5 模型设计 117
7.2.6 模型初始化 118
7.2.7 模型训练 118
7.2.8 模型验证 119
7.2.9 模型保存 119
7.2.10 模型测试 120
7.2.11 模型部署 120
7.3 分而治之的思想 121
7.3.1 分布式计算 121
7.3.2 消息传递接口MPI 122
7.3.3 MapReduce模型 123
7.3.4 批处理和流处理 124
7.4 分布式训练与策略 125
7.4.1 什么是分布式训练 125
7.4.2 数据并行性 126
7.4.3 模型并行性 127
7.4.4 流水线并行性 128
7.4.5 混合并行 129
7.4.6 分布式训练集群架构 129
【作 业】 130
【实验与思考】程序员：文心大模型开发代码智能体 132
第8章   提示工程与微调 135
8.1 什么是提示工程 135
8.1.1 提示工程的原理 135
8.1.2 提示工程应用技术 137
8.1.3 提示的通用技巧 138
8.2 大模型为什么要微调 140
8.3 提示学习和语境学习 140
8.3.1 提示学习 141
8.3.2 语境学习 142
8.4 上下文窗口扩展 143
8.5 指令数据的构建 143
8.5.1 手动构建指令 143
8.5.2 自动构建指令 143
8.6 微调及其PEFT流行方案 145
8.6.1 微调技术路线 145
8.6.2 提示微调 145
8.6.3 前缀微调 146
8.6.4 LoRA方法 146
8.6.5 QLoRA方法 146
【作 业】 146
【实验与思考】文生图：注册使用Midjourney绘图工具 148
第9章 强化学习方法 152
9.1 强化学习的概念 152
9.1.1 强化学习的定义 152
9.1.2 不同于监督和无监督学习 154
9.1.3 不同于传统机器学习 155
9.1.4 大模型的强化学习 156
9.1.5 先验知识与标注数据 157
9.2 强化学习基础 157
9.2.1 基于模型与免模型环境 157
9.2.2 探索与利用 158
9.2.3 片段还是连续任务 159
9.2.4 网络模型设计 159
9.3 强化学习分类 160
9.3.1 从奖励中学习 160
9.3.2 被动与主动强化学习 161
9.3.3 学徒学习 162
9.4 深度强化学习 163
【作 业】 164
【实践与思考】熟悉文生视频大模型Sora 165
第10章 大模型智能体 170
10.1 智能体和环境 170
10.2 智能体的良好行为 171
10.2.1 性能度量 172
10.2.2 理性 172
10.3 环境的本质 173
10.3.1 指定任务环境 173
10.3.2 任务环境的属性 174
10.4 智能体的结构 176
10.4.1 智能体程序 177
10.4.2 学习型智能体 178
10.4.3 智能体组件的工作 179
10.5 构建大模型智能体 180
【作 业】 181
【实践与思考】人形机器人创业独角兽Figure AI 183
第11章   大模型应用框架 186
11.1 大模型哲学问题 186
11.1.1 组成性 186
11.1.2 天赋论与语言习得 187
11.1.3 语言理解与基础 187
11.1.4 知识传递和语言支持 188
11.2 大模型应用流程 188
11.2.1 确定需求大小 188
11.2.2 数据收集 190
11.2.3 数据集预处理 190
11.2.4 大模型预训练 191
11.2.5 任务微调与部署 192
11.3 大模型应用场景 192
11.3.1 大模型典型应用领域 192
11.3.2 大模型助力医疗诊断 194
【作 业】 197
【实践与思考】精通垃圾分类的ZenRobotics机器人 199
第12章 生成式人工智能GenAI与AIGC 202
12.1 生成式人工智能进阶 202
12.1.1 熟悉生成式人工智能 202
12.1.2 生成式人工智能的层次 203
12.2 生成式预训练语言模型 205
12.3 人工智能生成内容 207
12.3.1 内容孪生 208
12.3.2 内容编辑 208
12.3.3 内容生成的应用 208
12.4 案例：谷歌Genie模型 209
12.4.1 从接受图像提示开始 209
12.4.2 从视频学习细粒度控制 210
12.4.3 一些重要的限制 211
12.4.5 迈向“世界模型”的一步 212
12.5 视频是现实世界决策的新语言 213
12.5.1 视频生成，不只为了娱乐 213
12.5.2 视频生成面临的挑战 215
【作 业】 216
【实践与思考】利用AIGC完成人机交互界面设计 218
第13章 技术伦理与限制 223
13.1 人工智能面临的伦理挑战 223
13.1.1 人工智能与人类的关系 223
13.1.2 人与智能机器的沟通 225
13.2 数据隐私保护对策 225
13.2.1 数据主权和数据权问题 225
13.2.2 数据利用失衡问题 226
13.2.3 构建隐私保护伦理准则 226
13.2.4 健全道德伦理约束机制 227
13.3 人工智能伦理原则 227
13.3.1 职业伦理准则的目标 228
13.3.2 创新发展道德伦理宣言 228
13.3.3 欧盟可信赖的伦理准则 230
13.4 大模型的知识产权保护 231
13.4.1 大模型的诉讼案例 231
13.4.2 尊重隐私，保障安全，促进开放 235
13.4.3 边缘群体的数字平等 236
【作 业】 236
【实践与思考】人工智能独立完成的视觉艺术品无法获得版权 238
第14章 通用人工智能AGI 240
14.1 类脑记忆形成过程 240
14.1.1 大脑海马体 240
14.1.2 记忆功能 241
14.1.3 记忆巩固 242
14.1.4 海马体的作用 242
14.1.5 海马体启发下的类脑智能 244
14.1.6 基于海马体启发的研究 245
14.2 人工智能发展愿景 246
14.2.1 大模型用于智能制造 246
14.2.2 预测人类行为的新模型 248
14.2.3 大模型的大趋势 250
14.3 通用人工智能涌现 251
14.3.1 通用人工智能的定义 251
14.3.2 大模型与通用人工智能 252
【作 业】 253
【课程学习与实践总结】 255
参考文献 264