大语言模型应用指南：以ChatGPT为起点，从入门到精通的AI实践教程（全彩）

本书是一本对人工智能小白读者非常友好的大语言模型应用指南，有两大特点：一是以通俗易懂的方式解释复杂概念，通过实例和案例讲解大语言模型的工作原理和工作流程、基本使用方法，包括大语言模型常用的三种交互格式、提示工程、工作记忆与长短期记忆，以及外部工具等，使读者能够全面了解和掌握这一先进技术的应用和二次开发；二是紧跟当前大语言模型技术的更新动态，介绍GPTs的创建，以GPT-4V和Gemini为例讲述多模态模型的应用，还包括无梯度优化、自主Agent系统、大语言模型微调、RAG框架微调、大语言模型安全技术等。

无论是学术研究者、工程师，还是对大语言模型感兴趣的普通读者，都可以通过本书获得大语言模型的前沿研究成果、技术进展和应用案例，从而更好地应用大语言模型解决实际问题。

万俊，南京大学计算数学专业本硕；现任中国香港瑞银软件工程师；OPPO前高级数据挖掘工程师 ；蚂蚁集团前高级机器学习、数据工程师 ；Udacity前机器学习和深度学习资深讲师；曾多次在各类数据竞赛中获奖（Kaggle Kesci Data Castle）；已发表CCF A类论文一篇，EI论文一篇，神经网络测试专利一个 ；LeetCode专栏作家，著有“Enlighten AI”专栏。

探索智能前沿，驾驭模型力量！

这是一本能让你真正将大语言模型用起来的专业指南！

通俗：通篇用生活案例讲解，对人工智能或编程技术小白读者非常友好！

前沿：从大语言模型的核心原理、工作流程等，再到提示工程、长短期记忆、GPTs、Agent系统、微调与安全技术、GPT-4V与Gemini、尺度定律与压缩即智能等新技术点。

本书用4篇带你逐层攀登，从此驾驭大语言模型，共赴智慧科技的星辰大海！

★第1篇夯实基础，探索机器学习、神经网络、自然语言处理和大语言模型的基础。

★第2篇实践应用，包括交互格式、提示工程、工作记忆与长短期记忆，外部工具和GPTs的开发。

★第3篇拓宽边界，涵盖无梯度优化、自主Agent系统、大语言模型微调以及安全技术等。

★第4篇洞见未来，探讨多模态大语言模型、尺度定律、压缩即智能、图灵机与大语言模型的关联等。

第1篇 基础
第1章 从人工智能的起源到大语言模型 2
1．1 人工智能的起源 2
1．1．1 机器能思考吗 2
1．1．2 达特茅斯会议 3
1．2 什么是机器学习 4
1．2．1 演绎推理与归纳推理 4
1．2．2 人工编程与自动编程 5
1．2．3 机器学习的过程 5
1．2．4 机器学习的分类 8
1．3 什么是神经网络 9
1．3．1 还原论与涌现性 9
1．3．2 神经网络的发展历史 10
1．3．3 神经网络基础 11
1．3．4 神经网络的三要素 13
1．4 自然语言处理的发展历程 17
1．4．1 什么是自然语言处理 17
1．4．2 文本的向量化 18
1．4．3 神经网络中的自监督学习 21
1．5 大语言模型 24
1．5．1 什么是大语言模型 24
1．5．2 语言模型中的token 25
1．5．3 自回归模型与文本生成 33
1．5．4 统一自然语言任务 41
1．5．5 大语言模型的训练过程 44
1．5．6 大语言模型的局限性 46
第2篇 入门
第2章 交互格式 50
2．1 Completion交互格式 50
2．2 ChatML交互格式 52
2．3 Chat Completion交互格式 54
第3章 提示工程 57
3．1 什么是提示工程 57
3．2 提示的构成 58
3．3 提示的基础技巧 62
3．3．1 在提示的末尾重复关键指令 63
3．3．2 使用更清晰的语法 63
3．3．3 尽量使用示例 65
3．3．4 明确要求大语言模型回复高质量的响应 65
3．4 Chat Completion交互格式中的提示 65
3．5 提示模板与多轮对话 69
第4章 工作记忆与长短期记忆 72
4．1 什么是工作记忆 72
4．2 减轻工作记忆的负担 74
4．2．1 Chain-of-Thought 74
4．2．2 Self-Consistency 76
4．2．3 Least-to-Most 76
4．2．4 Tree-of-Tought和Graph -of-Tought 79
4．2．5 Algorithm-of-Tought 85
4．2．6 Chain-of-Density 88
4．3 关于大语言模型的思考能力 90
4．4 长短期记忆 91
4．4．1 什么是记忆 91
4．4．2 短期记忆 92
4．4．3 长期记忆 105
第5章 外部工具 122
5．1 为什么需要外部工具 122
5．2 什么是外部工具 122
5．3 使用外部工具的基本原理 124
5．4 基于提示的工具 126
5．4．1 Self-ask 框架 126
5．4．2 ReAct 框架 128
5．4．3 改进ReAct框架 134
5．5 基于微调的工具 137
5．5．1 Toolformer 137
5．5．2 Gorilla 140
5．5．3 function calling 141
第6章 ChatGPT接口与扩展功能详解 149
6．1 OpenAI大语言模型简介 149
6．2 ChatGPT扩展功能原理 151
6．2．1 网页实时浏览 152
6．2．2 执行Python代码 153
6．2．3 图像生成 154
6．2．4 本地文件浏览 157
6．3 Chat Completion接口参数详解 158
6．3．1 模型响应返回的参数 158
6．3．2 向模型发起请求的参数 159
6．4 Assistants API 162
6．4．1 工具 162
6．4．2 线程 163
6．4．3 运行 163
6．4．4 Assistants API整体执行过程 164
6．5 GPTs与GPT商店 164
6．5．1 GPTs功能详解 165
6．5．2 GPT商店介绍 172
6．5．3 案例：私人邮件助手 174
第3篇 进阶
第7章 无梯度优化 184
7．1 单步优化 184
7．2 强化学习入门 188
7．3 多步优化中的预测 191
7．4 多步优化中的训练 194
7．5 多步优化中的训练和预测 201
第8章 自主Agent系统 210
8．1 自主Agent系统简介 210
8．2 自主Agent系统的基本组成 211
8．3 自主Agent系统案例分析（一） 213
8．3．1 BabyAGI 213
8．3．2 AutoGPT 216
8．3．3 BeeBot 221
8．3．4 Open Interpreter 228
8．3．5 MemGPT 232
8．4 自主Agent系统案例分析（二） 243
8．4．1 CAMEL 243
8．4．2 ChatEval 246
8．4．3 Generative Agents 250
第9章 微调 262
9．1 三类微调方法 262
9．2 Transformer解码器详解 264
9．2．1 Transformer的原始输入 264
9．2．2 静态编码和位置编码 264
9．2．3 Transformer层 265
9．3 高效参数微调 268
9．3．1 Adapter高效微调 268
9．3．2 Prompt高效微调 269
9．3．3 LoRA高效微调 272
9．3．4 高效微调总结 274
9．4 微调RAG框架 275
9．4．1 RAG框架微调概述 275
9．4．2 数据准备和参数微调 276
9．4．3 效果评估 276
第10章 大语言模型的安全技术 280
10．1 提示注入攻击 280
10．1．1 攻击策略 281
10．1．2 防御策略 284
10．2 越狱攻击与数据投毒 285
10．2．1 冲突的目标与不匹配的泛化 285
10．2．2 对抗样本 286
10．2．3 数据投毒 289
10．3 幻觉和偏见问题 292
10．4 为大语言模型添加水印 294
第4篇 展望
第11章 大语言模型的生态与未来 298
11．1 多模态大语言模型 298
11．1．1 什么是多模态 298
11．1．2 GPT-4V简介 300
11．1．3 Gemini简介 303
11．2 大语言模型的生态系统 308
11．3 大语言模型的第一性原理：尺度定律 311
11．3．1 什么是尺度定律 312
11．3．2 尺度定律的性质 313
11．3．3 尺度定律的未来 320
11．4 通向通用人工智能：压缩即智能 321
11．4．1 编码与无损压缩 322
11．4．2 自回归与无损压缩 331
11．4．3 无损压缩的极限 336
11．5 图灵机与大语言模型：可计算性与时间复杂度 342
11．5．1 图灵机与神经网络 342
11．5．2 智能的可计算性 346
11．5．3 逻辑推理的时间复杂度 349
参考文献 352