ChatGPT原理与应用开发

郝少春
某AI大语言模型公司的算法工程师，开源组织Datawhale成员；拥有7 年算法和工程架构经验及丰富的项目和产品经历，涉及文本、音频、视频、图像等多种模态。

黄玉琳
上海财经大学硕士，京东算法工程师，开源组织Datawhale成员；从事智能供应链领域的算法研究及应用工作；主要研究方向为机器学习、自然语言处理、运筹优化。

易华挥
四川大学华西医院生物大数据中心的科研助理，开源组织Datawhale成员；主要研究方向为多模态表征学习及其在医学影像分析中的应用；发表顶会论文3篇。

适读人群 ：适合所有对大语言模型感兴趣的开发者阅读

1. Di一本基于大语言模型进行商业应用开发的书；
2. 以任务（相似匹配、句词分类、文本生成、复杂推理）为中心，内容不仅可用于ChatGPT，也适用于其他大语言模型；
3. 侧重于任务的讲解与设计，思路可用于任何项目；
4. 有详细的示例代码，大部分的代码稍作修改后可用于生产环境，还有Datawhale的HuggingLLM开源教程、B站视频课程，书-课-代码仓库全方位助力学习与实践；
5. Datawhale开源社区又一力作，五位人工智能领域学者吴飞、周明、朱信忠、金耀辉、张俊林亲笔推荐！

第 1 章　基础知识——大语言模型背后 1
1．1　自然语言背景 1
1．1．1　语言是智能的标志 1
1．1．2　从图灵测试到ChatGPT 2
1．2　语言模型基础 6
1．2．1　最小语义单位Token 与Embedding 6
1．2．2　语言模型是怎么回事 8
1．3　ChatGPT基础 14
1．3．1　最强表示架构Transformer设计与演变 14
1．3．2　生成语言模型GPT进化与逆袭 18
1．3．3　利器强化学习RLHF流程与思想 25
1．4　本章小结 30

第 2 章　相似匹配——万物皆可Embedding 31
2．1　相似匹配基础 31
2．1．1　更好的Embedding表示 31
2．1．2　如何度量Embedding相似度 36
2．2　ChatGPT接口使用 37
2．2．1　Embedding接口 37
2．2．2　ChatGPT+提示词 40
2．3　相关任务与应用 41
2．3．1　简单问答：以问题找问题 42
2．3．2　聚类任务：物以类聚也以群分 50
2．3．3　推荐应用：一切都是Embedding 55
2．4　本章小结 64

第3 章　句词分类——句子Token都是类别 65
3．1　句词分类基础 65
3．1．1　如何对一句话进行分类 68
3．1．2　从句子分类到Token分类 71
3．2　ChatGPT接口使用 72
3．2．1　基础版GPT续写 72
3．2．2　进阶版ChatGPT指令 77
3．3　相关任务与应用 82
3．3．1　文档问答：给定文档问问题 82
3．3．2　模型微调：满足个性化需要 94
3．3．3　智能对话：大语言模型=自主控制的机器人 106
3．4　本章小结 117

第4 章　文本生成——超越理解更智能 119
4．1　文本生成任务基础 119
4．2　文本摘要 121
4．2．1　什么是文本摘要 121
4．2．2　常见的文本摘要技术 121
4．2．3　基于OpenAI接口的文本摘要实验 123
4．3　文本纠错 131
4．3．1　什么是文本纠错 131
4．3．2　常见的文本纠错技术 132
4．3．3　基于OpenAI接口的文本纠错实验 135
4．4　机器翻译 136
4．4．1　什么是机器翻译 136
4．4．2　常见的机器翻译技术 137
4．4．3　基于OpenAI接口的机器翻译实验 138
4．5　本章小结 144

第5 章　复杂推理——更加像人一样思考 145
5．1　什么是复杂推理 145
5．2　复杂推理能力的激活和改善 147
5．2．1　初步评估ChatGPT的推理能力 147
5．2．2　复杂推理能力的激活 150
5．2．3　大语言模型复杂推理能力的改善 156
5．3　大语言模型复杂推理能力的探讨 168
5．4　本章小结 170

第6 章　工程实践——真实场景大不同 172
6．1　评测：决定是否上线的标准 172
6．1．1　为什么评测 172
6．1．2　NLU常用评测指标 173
6．1．3　NLG常用评测指标 175
6．2　安全：必须认真对待的话题 178
6．2．1　前/ 后处理 178
6．2．2　提示词 179
6．2．3　可控文本生成 179
6．3　网络：接口调用并不总是成功 180
6．3．1　失败 181
6．3．2　延迟 182
6．3．3　扩展 183
6．4　本章小结 185

第7 章　局限与不足——工具不是万能的 186
7．1　事实性错误 186
7．1．1　错误示例 186
7．1．2　原因分析 188
7．1．3　解决方法 189
7．2　实时更新 190
7．2．1　问题示例 190
7．2．2　原因分析 191
7．2．3　解决方法 192
7．3　性能瓶颈 193
7．3．1　背景描述 193
7．3．2　原因分析 193
7．3．3　解决方法 194
7．4　本章小结 194

第8 章　商业应用——LLM是星辰大海 196
8．1　相关背景 196
8．2　影响分析 197
8．3　商业赋能 198
8．4　本章小结 204