与AI对话：ChatGPT提示工程揭秘

本书以独特的角度，深入浅出地介绍 ChatGPT、提示工程及自然语言处理等相关技术。在 内容上，本书科普性与专业性并重，既为普通读者提供基础知识，又有对专业领域的深入探讨。 本书通过 7 章的内容，在全面介绍 ChatGPT 内部原理的基础上，重点解析提示指令的构建方法， 以及如何针对各类任务构建合适的提示指令，为广大读者提供实战经验和指导。 本书适合对 ChatGPT 充满好奇心的所有读者，不仅可以满足他们探寻 ChatGPT 内部原理 的需求，还能让他们了解如何将其运用于实际工作中。此外，对于有志成为提示工程师的读者， 本书提供一条从新手到专家的成长之路，帮助他们打开新的职业发展大门。

陈峥，电子科技大学信息与软件工程学院副教授、自然语言处理实验室负责人，中文信息学会自然语言生成与智能写作专委会委员。在信息抽取、文本摘要、机器翻译、机器问答、文本写作、多模态内容生成等领域具有丰富的科研和实践经验。于中国科学院成都计算机应用研究所获得博士学位，先后在田纳西大学、亚利桑那州立大学从事访学研究，发表过20余篇论文，拥有10余项专利，曾主持包括国家自然科学基金在内的多个科研项目。

√揭秘本世纪头等重要的职业技能

√教你构建高质量的提示指令，成为与AI交流的高手，高效工作

√系统讲解ChatGPT核心原理

√作者资深：名校教授、自然语言处理专家倾情撰写

√通俗易懂：人人都能读懂，兼具趣味性和科学性

√脉络清晰：聚焦ChatGPT技术科普 & 手把手讲解构建高质量提示指令的7大类方法

√系统性强：把复杂深奥的理论讲得清晰透彻明白

√实用性强：实例涵盖翻译、纠错与润色、文学创作、新闻撰写、信息获取、决策支持、解题、编程，助你升职加薪

第1部分 基础知识

第1章～第3章：ChatGPT的基本概念、用法，以及语言模型的原理和发展历史。提示工程的概念和设计方法。

你将学到：

√ChatGPT是什么

√技术人员常说的GPT-1到GPT-4分别指什么

√语言模型是什么

√语言模型的发展历程

√为什么Transformer是ChatGPT类模型的基础

√语言模型是如何训练的

√提示工程是什么

√设计良好提示的7大技巧

第2部分 提示工程

第4章和第5章：如何编写合理的提示，用ChatGPT解决各种问题并完成各类任务。你将学到：

√通过实例，手把手构建提示指令

√利用ChatGPT，化解（翻译、纠错、润色、文学创作、新闻撰写、摘要撰写、解题、编程、决策支持、信息获取）难题

√提示指令进阶练习：从新手到专家

√利用ChatGPT，完成复杂任务，如词法和句法分析、关键词提取、文本分类、情感分析、理解和问答、谣言和不实信息检测等

第3部分 延伸讨论

第6章和第7章：介绍国内部分类似ChatGPT的模型。探讨ChatGPT及其他类似语言模型的缺陷与局限。你将学到：

√国产“ChatGPT”全知道：MOSS、ChatGLM、文心一言

√幻觉：一柄双刃剑

√毒性：一个社会问题

√记忆：短期的更困难

√多模态：到底有什么用

本书中讲授的工作方法及其技术原理其实不限于ChatGPT，掌握了这些原理您可以举一反三，迁移应用于类ChatGPT的其他后继智能系统。

缘起

在人工智能领域，自然语言处理技术的飞速发展已经吸引了全球的目光。ChatGPT作为当前最先进、最强大的自然语言处理模型，为人类带来了前所未有的人机交互体验。然而，ChatGPT 给这个世界带来的远远不止于此。它犹如蒸汽机的第一声轰鸣，跨越大洋的第一束电波，以及月球上的第一个脚印。ChatGPT 的问世预示着通用人工智能的临近，宣告了一个伟大时代正向我们走来。身为一名自然语言处理研究者，我有幸亲眼见证并参与这场划时代的变革。

因此，我决定撰写本书，让更多的普通人了解自然语言处理、提示工程和ChatGPT，从而也能投身到这场伟大的变革中来。

在写作本书的过程中，我目睹了人工智能领域一系列翻天覆地的变化。GPT-4、Bard、Office Copilot、Midjourney V5、ChatGPT Plugins，半个多月的时间里，新技术层出不穷，每天都有重磅新闻袭来。这些新闻让我心潮澎湃，深感有责任将这些知识传播给更多的人，让他们了解并使用这些新技术。因此，我在写作过程中一刻不敢停歇。

本书主要内容

本书共分为7章，涵盖基础知识、提示工程和延伸讨论。各部分的内容安排如下。

第1部分为基础知识，包括第1章～第3章，主要介绍ChatGPT的基本概念、用法，以及语言模型的原理和发展历史。

第1章介绍ChatGPT的基本概念，使读者能够全面了解这项领先的人工智能技术。本章不仅介绍了ChatGPT的发展历程，还对其应用场景和局限性进行了阐述。

第2章详细介绍如何使用ChatGPT，包括了多种与ChatGPT交互的方式，如网页、API，以及各种第三方工具和网站，帮助读者更好地使用这一强大的工具。

第3章以通俗易懂的方式详细介绍语言模型的基本原理及其演变历程，特别关注了核心模型——Transformer。通过阅读本章，读者将对ChatGPT的运行机制有更深入的了解，从而能够更有效地运用这一工具。此外，本章还介绍了提示工程的概念和设计方法，这是后续第二部分内容的基础。

第2部分为提示工程，包括第4章和第5章，主要介绍如何编写合理的提示，从而使用ChatGPT解决各种问题并完成各类任务。这部分是本书的重点。

第4章精心挑选了众多实例，旨在详尽阐述如何构建高质量的提示，以便各位读者在日常生活和工作中充分利用ChatGPT解决各类问题、完成多样任务。具体应用领域涵盖翻译、纠错与润色、文学创作、新闻撰写、信息获取、决策支持，以及解题和编程。

第5章着重探究如何构建提示指令，以使ChatGPT能够胜任自然语言处理领域中的各类专业任务。这些任务包括词法和句法分析、信息抽取、分类和聚类、理解和问答、受控文本生成、谣言和不实信息检测等。本章内容旨在为读者提供一份通俗易懂的提示工程师入门指南。

第3部分为延伸讨论，包括第6章和第7章。

第6章介绍国内部分类似ChatGPT的多任务通用对话模型，包括ChatYuan、MOSS、文心一言、ChatGLM等。本章可以帮助读者更好地了解国内这一领域的发展现状。

第7章深入探讨了ChatGPT及其他类似语言模型所面临的缺陷与局限。在这些问题中，幻觉和毒性被认为是模型的两大核心缺陷，亟待研究者们不懈努力进行优化改进。而记忆与多模态方面的不足，普通用户亦需了解，以便在实际使用过程中合理应对。

说明

本书包含了大量与ChatGPT的对话示例。为了真实地展示ChatGPT的对话能力，对话内容中难免会出现用词不规范、语句不通顺甚至存在错误的情况。在此，恳请各位读者包涵。

第1部分 基础知识

1 ChatGPT：开启人工智能的新时代 2

1.1 ChatGPT是什么 2

1.2 ChatGPT的历史 4

1.2.1 GPT-1：预训练加微调 4

1.2.2 GPT-2：更大更强 5

1.2.3 GPT-3：能力涌现 7

1.2.4 ChatGPT：与AI对话 10

1.2.5 GPT-4：多模态 12

1.3 ChatGPT的应用场景 14

1.4 ChatGPT的局限性 17

2 从网页到API：手把手教你使用ChatGPT 20

2.1 使用官方网站与ChatGPT进行交互 20

2.2 用API的方式访问ChatGPT 27

2.3 使用ChatGPT的其他方式 30

3 演进之路：从语言模型到提示工程 37

3.1 什么是语言模型 38

3.2 语言模型的发展历程 40

3.2.1 20世纪50年代之前：雏形初现 40

3.2.2 20世纪的后五十年：由兴到衰 41

3.2.3 21世纪：新时代 42

3.3 Transformer模型的结构和原理 47

3.3.1 注意力机制 47

3.3.2 自注意力机制 48

3.3.3 位置信息 49

3.3.4 缩放点乘注意力 49

3.3.5 多头自注意力 50

3.3.6 多层自注意力 51

3.3.7 交叉注意力 51

3.3.8 完整的Transformer模型 52

3.4 语言模型的训练 53

3.4.1 自回归训练 54

3.4.2 基于人工反馈的强化学习 57

3.5 提示工程 61

3.5.1 提示工程是什么 61

3.5.2 设计良好提示的常见技巧 63

3.5.3 提示工程的重要性 70

第2部分 提示工程

4 人人都能用AI：构建提示指令，化解各类难题 74

4.1 难题已攻克：AI助你跨越语言的障碍 74

4.2 不只是纠错：AI让语言表达更精准 80

4.3 文学创作新思路：人机协作让作品更具灵感 85

4.4 新闻报道加速器：从收集素材到成稿只需几秒 97

4.5 一问即答：AI让信息获取更简单 103

4.6 专家意见何处寻：AI扮演领域专家角色为你答疑解惑 108

4.7 决策神器：如何让AI给出明确回答，助你做决定 118

4.8 逻辑驱动的能力提升：数学和编程是一回事儿 122

5 从新手到专家：普通人如何成为提示工程师 131

5.1 词法和句法分析 132

5.1.1 中文分词 133

5.1.2 命名实体 135

5.1.3 词性标注 137

5.1.4 依存句法分析 139

5.1.5 总结 144

5.2 信息抽取 145

5.2.1 关键词提取 145

5.2.2 实体关系抽取 150

5.2.3 结构化事件抽取 153

5.2.4 总结 156

5.3 分类与聚类 157

5.3.1 文本分类 157

5.3.2 情感分析 160

5.3.3 文本聚类 164

5.3.4 总结 172

5.4 理解和问答 172

5.4.1 常识知识问答 172

5.4.2 阅读理解问答 176

5.4.3 问题理解和意图识别 181

5.4.4 总结 188

5.5 受控文本生成 189

5.5.1 文本摘要 189

5.5.2 文本复述 194

5.5.3 数据到文本的生成 199

5.5.4 总结 206

5.6 谣言和不实信息检测 206

第3部分 延伸讨论

6 狂欢将至：国产“ChatGPT”接踵而来 216

6.1 元语智能：ChatYuan 216

6.2 复旦大学：MOSS 218

6.3 百度：文心一言 219

6.4 清华大学：ChatGLM 221

6.5 其他 223

7 道阻且长：“ChatGPT”们的缺陷与局限 224

7.1 幻觉：一柄双刃剑 224

7.2 毒性：一个社会问题 231

7.3 记忆：短期的更困难 231

7.4 多模态：到底有什么用 234

参考文献 242