多模态大模型：技术原理与实战

本书详细介绍了大语言模型和多模态大模型的发展历史、技术原理和亮点、主要的开源框架、配套工具、部署细则和实战案例。为了让读者更好地进行大模型的应用实战，本书还详细介绍了使用大模型为商业赋能的3个应用案例。期望本书能够帮助读者打开通往大模型尤其是多模态大模型的学习、实战和商业成功之路。

彭勇

国家公派留法博士，全球金融专业人士协会（GIFP协会）特聘专家，2020年欧耕互联网保险十大风云人物，《数据中台建设：从方法论到落地实战》作者。从事大数据和人工智能在金融行业的研究与应用工作约18年，负责相关的落地项目超过100个，在金融行业数据中台建设、数字化营销和运营体系建设、大数据和人工智能赋能、大模型研发和应用、风险管理、数智化转型等方面经验丰富。现就职于苏州数擎智技术有限公司和北京长正咨询有限公司，担任两个公司的总经理。

彭旋

本科和硕士毕业于中国石油大学（华东）数学与应用数学专业，从事多模态大模型、知识图谱、信息抽取、自然语言处理等方面的研发工作，具备丰富的多模态大模型训练、研发和企业落地经验。《知识图谱与大模型融合实践研究报告》《知识图谱互联互通白皮书》的主要作者之一。

郑志军

NLP专家，研究领域主要包括文本理解、自然语言生成等，申请7项专利。从事自然语言处理研究7年有余，有近4年大模型使用、研发经验。现担任公司AIGC组组长，研发的大模型在公共评测和客户应用上均取得了优异的成绩，在大模型研发领域具有丰富的理论和实践经验。

茹炳晟

腾讯Tech Lead，腾讯研究院特约研究员，中国计算机学会(CCF)TF研发效能SIG主席，“软件研发效能度量规范”标准核心编写专家，中国商业联合会互联网应用工作委员会智库入库专家，中国通信标准化协会TC608云计算标准和开源推进委员会云上软件工程工作组副组长，国内外很多技术峰会的联席主席、出品人和演讲嘉宾。公众号“茹炳晟聊软件研发”主理人。多本技术畅销书作者，著作有《软件研发行业创新实战案例解析》《测试工程师全栈技术进阶与实践》《软件研发效能提升之美》《高效自动化测试平台:设计与开发实战》《软件研发效能提升实践》《软件研发效能权威指南》，译作有《持续架构实践：敏捷和DevOps时代下的软件架构》和《现代软件工程：如何高效构建软件》等。

（1）单模态大模型ChatGPT只是过渡产品，多模态大模型（类似于GPT-4）才是AI 的未来。掌握了多模态大模型技术就等于先人一步打开了通往AGI的大门。

（2）详述ChatGPT的核心技术，以及GPT的进化史和创新点，让你全面了解大模型技术的演化过程和未来的发展趋势。

（3）详细介绍了大语言模型和多模态大模型的发展历史、技术原理和亮点、主要的开源框架、配套工具、部署细则和实战案例。
（4）多模态大模型的费用昂贵是很多公司的痛点。通过微调和量化压缩，让中小公司也能用得起多模态大模型，并介绍了从0到1部署多模态大模型。
（5）实战性强，详细介绍了使用大模型为商业赋能的3个应用案例。

ChatGPT和GPT-4这两个知名大模型的发布，让大模型迅速成为爆点，重新点燃了人们对通用人工智能的热情。很多国家和地区都开始致力于大模型的研发、应用和推广。我们认为，以大数据和人工智能为核心技术驱动的新的科技革命即将到来，数字赋能一切的新的数字经济范式也即将到来。面对数字经济的时代大背景，无论从业者来自哪个行业（互联网行业、通信行业、金融行业、传统制造行业或服务行业等）、从事哪种职业（研发人员、工程师、设计师、编辑等），都会受到数字经济的影响。

大模型研发更像一场遍布全球的科技“军备竞赛”，模型的效果如果“差之毫厘”，面临的结局可能就是“谬以千里”。从技术发展的角度来看，我们认为，单模态大模型只是过渡型技术，多模态大模型将成为通用人工智能赋能各行各业的重要技术底座。当前国内详细介绍多模态大模型的发展历史、技术要点和应用方面的书籍少之又少，很多从业者即使想深入学习，也难以找到体系化的教材。所以，我们撰写了本书。

大模型的核心特征是“大数据、大算力和大参数量”，这几个“大”字无疑极大地提高了人工智能大模型的研发、训练、部署和应用门槛。中小公司有点玩不起人工智能大模型了，这是中小公司面临的难题。基于此，本书详细介绍了中小公司的大模型构建之路，阐述了如何通过微调、量化压缩等技术构建垂直领域的轻量级大模型。

另外，为了更好地让来自不同领域的读者熟悉多模态大模型的价值，我们还详细阐述了多模态大模型在六大领域（分别是金融领域、出行与物流领域、电商领域、工业设计与生产领域、医疗健康领域和教育培训领域）的应用，帮助读者更好地理解多模态大模型的应用场景和可能产生的商业价值。

我们希望读者能够通过对本书的学习，更好、更快地拿起多模态大模型这个“强大武器”，高效地促进所在产业的数智化转型和变革。同时，我们也希望通过本书的创作可以与研究和应用多模态大模型的专业人士深入、广泛地交流和合作。

4位坚信“人工智能改变世界”的伙伴（彭勇、彭旋、郑志军和茹炳晟）共同完成了本书的撰写。彭勇是大数据应用和大模型专家，彭旋和郑志军是大模型算法专家，茹炳晟是腾讯的技术专家。我们还要感谢在本书创作过程中给予我们支持的领导、家人、同事和朋友，同时感谢电子工业出版社博文视点公司的石悦老师。他们的信任、鼓励和支持，是我们持续创作和不断前进的动力。

第1章 OpenAI一鸣惊人带来的启示

1.1 OpenAI的成长并非一帆风顺

1.2 OpenAI成功的因素

1.3 OpenAI特殊的股权设计带来的启示

第2章 自然语言处理的发展历程

2.1 自然语言处理的里程碑

2.2 从BERT模型到ChatGPT

2.3 BERT模型到底解决了哪些问题

2.4 BERT模型诞生之后行业持续摸索

2.5 ChatGPT的诞生

第3章 读懂ChatGPT的核心技术

3.1 基于Transformer的预训练语言模型

3.2 提示学习与指令微调

3.3 基于人工反馈的强化学习

3.4 思维链方法

3.5 集成学习

第4章 看清GPT的进化史和创新点

4.1 GPT技术的发展历程

4.2 GPT的创新点总结

第5章 大模型+多模态产生的“化学反应”

5.1 多模态模型的发展历史

5.2 单模态学习、多模态学习和跨模态学习的区别

5.3 多模态大模型发展的重大里程碑

5.4 大模型+多模态的3种实现方法

5.5 多模态大模型的效果评估

第6章 多模态大模型的核心技术

6.1 文本多模态技术

6.2 图像多模态技术

6.3 语音多模态技术

6.4 视频多模态技术

6.5 跨模态多重组合技术

6.6 多模态大模型高效的训练方法

6.7 GPT-4多模态大模型核心技术介绍

6.8 多模态技术的发展趋势

第7章 国内外多模态大模型对比

7.1 国内多模态大模型介绍

7.2 国外多模态大模型介绍

7.3 多模态大模型评测数据集

7.4 多模态大模型的评测标准

7.5 多模态大模型对比

7.5.1 感知能力评测

7.5.2 认知能力评测

第8章 中小公司的大模型构建之路

8.1 微调技术介绍

8.2 模型压缩技术介绍

8.3 微调实战

8.4 模型压缩实战

第9章 从0到1部署多模态大模型

9.1 部署环境准备

9.2 部署流程

9.3 使用Flask框架进行API开发

9.4 使用Gradio框架进行Web页面开发

9.5 其他部署方法介绍

9.6 部署过程中常见的问题总结

第10章 多模态大模型的主要应用场景

10.1 多模态大模型的应用图谱

10.2 多模态大模型在金融领域中的应用

10.2.1 语音质检

10.2.2 智能顾问

10.3 多模态大模型在出行与物流领域中的应用

10.4 多模态大模型在电商领域中的应用

10.4.1 智能客服

10.4.2 智能试穿

10.5 多模态大模型在工业设计与生产领域中的应用

10.6 多模态大模型在医疗健康领域中的应用

10.7 多模态大模型在教育培训领域的应用

第11章 用多模态大模型打造AI助理实战

11.1 应用背景

11.2 方法论介绍

11.3 工具和算法框架介绍

11.4 优化逻辑介绍

11.4.1 如何提高多轮对话能力

11.4.2 如何提高角色扮演能力

11.4.3 如何提高长文本阅读能力

11.5 多模态大模型的部署

11.6 多模态大模型的性能评估

第12章 多模态大模型在情绪识别领域的应用

12.1 应用背景和待解决的问题

12.2 方法论介绍

12.3 工具和算法框架介绍

12.4 优化逻辑介绍

12.5 部署流程

第13章 大模型在软件研发领域的实战案例与前沿探索

13.1 LLM在软件研发过程中的单点提效

13.2 代码大语言模型为软件研发带来的机遇与挑战

13.3 在LLM时代，对软件研发的更多思考