人工智能：知识图谱前沿技术

　　知识图谱作为当前人工智能的重要方向之一，不仅被实验室的研究者关注，更被各行各业的商业应用所关注。知识图谱是一个古老而又崭新的课题，是知识工程在新时代的新形态。智能离不开知识。知识始终是人工智能的核心之一。本书按照知识表示、知识库构建、知识推理和知识应用的基本脉络，全面介绍有关知识图谱的前沿技术。为便于理解和融会贯通，本书也对相关 NLP与机器学习的基本知识与知识图谱的经典传统方法进行了适当描述。本书既可作为人工智能领域研究人员的技术参考书，也可作为高等院校相关专业师生的教学参考书。

　　朱小燕，清华大学计算机系教授，智能技术与系统国家重点实验室主任，曾任清华大学计算机系副主任。位列 “人工智能全球女性榜单” “2019年度中国人工智能100人榜单”。从事人工智能领域相关工作30余年，主要研究领域为智能信息处理，包括人工神经网络、机器学习、自然语言处理、智能信息提取、智能问答系统等。获得国家发明专利十余项，在国际刊物和会议上发表论文100余篇。近几年研究工作主要集中于新一代智能信息获取与人机对话/交互的研究，所研究的原型系统曾应用于多家知名企业。

　　知识图谱作为当前人工智能的重要方向之一，不仅被实验室的研究者关注，更被各行各业的商业应用所关注。知识图谱是一个古老而又崭新的课题，是知识工程在新时代的新形态。智能离不开知识。知识始终是人工智能的核心之一。本书按照知识表示、知识库构建、知识推理和知识应用的基本脉络，全面介绍有关知识图谱的前沿技术。为便于理解和融会贯通，本书也对相关 NLP与机器学习的基本知识与知识图谱的经典传统方法进行了适当描述。

　　《人工智能：知识图谱前沿技术》既可作为人工智能领域研究人员的技术参考书，也可作为高等院校相关专业师生的教学参考书。

　　知识图谱作为当前人工智能的重要方向之一，不仅被实验室的研究者关注，更被各行各业的商业应用所关注。知识图谱是一个古老而又崭新的课题，是知识工程在新时代的新形态。智能离不开知识。知识始终是人工智能的核心之一。从计算机诞生不久，人们就希望借助知识来帮助实现智能系统，至今已研究半个多世纪。当代知识图谱的研究热潮是建立在多年研究发展和探索之上的。如今，知识图谱不仅在理论上有坚实的基础，而且在规模、存储和计算上都具备了实际应用的条件。知识图谱技术不是一种单一的技术，而是人工智能各个领域的发展在知识工程上的集中体现，并且还在方兴未艾地蓬勃发展。我们正站在这个潮头之上，希望从林林总总的研究中梳理出相对最前沿的思想、技术与方法，使读者在了解知识图谱基本概念的基础上，能够直接接触知识图谱的最新研究成果。这是我们编写本书的出发点。从根本上说，知识是人类智能的重要组成部分。知识并没有一个统一和一致的定义。一般认为，知识是人类在实践中认识客观世界（包括人类自身）的成果，包括对事实、信息的描述及在教育和实践中获得的技能。换言之，知识是人类从各个途径获得的经过提升、总结与凝练的系统性认识。对于人工智能来说，知识是计算机可以表示、存储和计算的一类特殊信息，是经过凝练的信息，是信息中的精华，包括陈述性知识、过程性知识和元知识。人工智能离不开知识。知识工程也随着人工智能的发展而不断地演化和进步。最初的人工智能研究从推理和问题求解出发构建智能系统，希望通过逻辑验算进行图灵测试。但知识并没有得到重视。1977年，费根鲍姆（Edward A Feigenbaum）提出知识工程的概念，把知识作为智能系统的核心。从此，知识工程获得发展，各种各样的知识表示方式应运而生，如谓词逻辑、语义网络、产生式规则、框架和脚本等。虽然手工构建的专家知识库在专家系统等应用中取得了很好的成绩，但也伴随着知识库构造困难、推理效率低等问题。互联网的发展使得数据产生爆炸性的增长，不仅让知识的获取有了更多的来源，而且能够更好地从语义上理解网页所代表的信息，从而使得对知识的需求成了新的增长点。Tim Berners-Lee提出了语义网，用本体的概念化体系对客观世界进行描述，并通过一套统一的描述方式对网页内容进行语义标记，使得网页互联变成内容互联，甚至是语义互联，在此基础上形成以RDF（Resource Description Framework）为模型的知识表示体系，并逐渐演变成一整套成熟的知识表示、序列化、查询、存储的规范。该规范成为现代知识图谱的基础。特别是在Web 20出现之后，维基百科以多人协作的方式产生了海量的知识类数据，并成为大规模知识库的主要来源之一。在此基础上产生的DBpedia 和Freebase 是当代大规模知识图谱的雏形。与此同时，研究者在知识本体的基础上制定了复杂的描述逻辑和规则体系，希望借此对知识进行逻辑推理。虽然这些尝试取得了一定的成果，但由于知识的复杂性和描述逻辑的局限性，因此并没有真正应用到实际中。2012年，Google在Freebase的基础之上构建了大规模的知识库Knowledge Graph （知识图谱），并将其应用于搜索结果的改善，从此拉开了当代知识图谱大规模应用的序幕，进而推动了大规模知识图谱的构建热潮。除了前述的大型知识库，还有诸如YAGO、NELL、Probase、openKG、cnSchema、cn-DBpedia等若干开放域知识库。这些知识图谱的构建与应用大大促进了知识图谱相关技术的发展。现代知识图谱技术发端于知识工程，结合大数据处理、统计机器学习算法、深度学习算法等技术，受益于越来越多的结构化、半结构化和非结构化数据及越来越强的计算能力，在知识库的表示、构建、推理与应用方面都有了非常大的进展，不仅在通用领域，而且在各个专用垂直领域（金融、保险、商业、医疗、法律等）也促进了若干智能应用（智能检索、智能问答、推理决策、文书生成、情感分析）的进步。从学术的角度来说，当代人工智能技术越来越离不开知识，离不开知识图谱的支撑。无论是基于统计机器学习的算法，还是基于深度学习的算法，在解释性和推理性方面都存在弱点，使研究者更加清晰地认识到规则与统计的完美结合才是人类拥有智能的本质，所以学术界也在日益关注如何从各个方面将流行的基于统计的学习算法和知识规则相结合。从应用的角度，尤其是对可解释性要求高的系统，更希望可以将各种类型的知识融入系统的构建和使用的过程。可以说，应用是推动知识图谱进步的动力；数据和算法的发展是知识图谱不断发展的基础。当代知识图谱技术主要体现在知识表示、知识库构建、知识推理与知识应用等方面。特别是随着近些年深度神经网络的发展，如何将知识融入语义理解与语言生成的计算中是研究的重要课题。从知识的表示方面来看，由资源描述框架统一表示的知识图谱本质上是一个由节点和边组成的庞大有向连接图，可分解为由头、尾和关系构成的三元组的集合，从而基于图的性质和三元组的统计特性，可在知识图谱相关领域应用到最新的机器学习算法与模型中。特别是分布式向量知识表示的发展，把知识图谱的实体与关系映射到稠密的低维向量空间，使知识图谱的可计算性有了很大的提高，大大便利了知识检索、知识推理、知识辅助理解等方面的应用；把知识的分布式向量知识表示与深度神经网络相结合，把知识融入语言模型和语义模型的计算中，均大大增强了对语义理解的能力。现代机器学习算法对于知识图谱的表示、构建、推理和应用都起到了非常大的推动作用，包括概率统计模型、空间分解算法、深度神经元网络、预训练语言模型、主动学习、增强学习、迁移学习、对抗学习、无监督学习、半监督学习、远程监督学习等。知识图谱技术不是单一的技术，而是将多种技术融合在一起，用于处理从自然文本、半结构化数据到知识，再到应用的全流程生命链。知识库的构建需要从自然语言中抽取相关类别的实体及实体与实体之间的关系。最新的机器学习算法在这方面起到了很大的促进作用，特别是深度神经语言模型的应用，把潜在语义和知识有机地结合起来。基于大规模知识库和分布式向量知识表示的知识推理同样可以借助深度学习和增强学习的方法，有效进行知识补全、校验和链接预测等工作。在实际应用中，将知识与深度模型相结合可大大提升机器问答、语言生成和情感分析等NLP （Natual Language Processing）任务的性能。我们编写本书的目的是为了让读者可以追踪知识图谱的前沿发展，把握知识图谱的技术方向，开阔眼界，面向未来。因此，本书将按照知识表示、知识库构建、知识推理和知识应用的基本脉络，全面介绍有关知识图谱的前沿技术。为便于理解和融会贯通，本书也对相关NLP与机器学习的基本知识及知识图谱的经典传统方法进行适当的描述。当然，知识图谱技术还在不断发展，当前的知识图谱技术还存在很多问题，主要体现在知识和语言模型虽然相关，但是在人类智能体系中却处于不同的层次和范畴；现有的融合方式虽然有一定效果，但还处于比较初级和生硬的阶段，未能很好地体现知识在高层推理与解释方面的作用，知识对于系统智能性起到的效果还达不到预期。这些都有待于今后的进一步研究。在人工智能新纪元的今天，NLP是人工智能皇冠上的明珠，知识就是连接皇冠与明珠的基座。有多大的基座就能够承载多大的明珠，有稳定坚实的基座，明珠才能够永放光芒。本书内容包含我们研究小组的部分研究成果及相关学术界的研究进展。本书由朱小燕和黄民烈组织编写，李晶、郝宇、肖寒等参与了重要章节的编写，王业全、周曼桐、周昊、关键等同学参与了知识图谱应用和资源等方面章节的编写，黄斐、高信龙一、邵志宏、关键等同学参与了校对工作。在本书编写过程中，东南大学漆桂林教授对于OpenKG等工作给出了建设性的意见。感谢电子工业出版社在出版过程中给予的大力支持和帮助。感谢多年来对我们工作给予大力支持和帮助的各位师长、同事、同行和朋友们。知识图谱是本次人工智能浪潮发展最快的研究分支之一，新技术、新研究层出不穷，有疏漏甚至错误的地方，请读者批评指正。

第1章绪论

1.1什么是知识

1.2知识类型与知识金字塔

1.3什么是知识图谱

1.4知识图谱的发展历史

1.5知识图谱研究的主要内容

1.5.1知识表示

1.5.2构建知识库

1.5.3知识推理

1.5.4知识应用

1.6本书内容安排

第2章传统知识表示与建模

2.1知识表示的基本概念

2.2基于逻辑的知识表示

2.2.1逻辑的基本概念

2.2.2命题逻辑

2.2.3谓词逻辑

2.2.4归结原理

2.3产生式表示方法

2.3.1事实与规则的表示

2.3.2产生式系统的结构

2.3.3产生式系统的推理

2.4语义网络表示方法

2.4.1语义网络的历史

2.4.2语义网络的结构

2.4.3语义网络的实例

2.4.4基本的语义关系

2.4.5语义网络的推理

2.5框架表示方法

2.5.1框架理论的概念

2.5.2框架的结构和框架的推理

2.6其他表示方法

2.6.1脚本知识表示方法

2.6.2过程性知识表示方法

2.7本章小结

第3章现代文本表示学习基础

3.1文本表示学习的基础模型

3.1.1单词的分布表示

3.1.2句子的分布表示

3.1.3文档的分布表示

3.2文本表示学习的进阶模型

3.2.1ELMo

3.2.2GPT

3.2.3BERT

3.3文本表示与知识表示

3.4本章小结

第4章现代知识表示与学习

4.1基于几何变换的知识图谱表示学习

4.1.1基于平移原则的知识图谱表示学习

4.1.2基于混合几何变换的知识图谱表示学习

4.1.3基于流形原则的知识图谱表示学习

4.2基于神经网络的知识图谱表示模型

4.2.1距离模型

4.2.2简单网络模型

4.2.3复杂网络模型

4.3结合文本的知识图谱表示方法SSP

4.3.1研究背景

4.3.2模型描述

4.4本章小结

第5章知识图谱的构建

5.1命名实体识别

5.1.1什么是命名实体

5.1.2任务概述

5.1.3传统的命名实体识别方法

5.1.4基于深度学习的命名实体识别方法

5.1.5基于深度学习的命名实体识别新模型及新思路

5.2命名实体链接

5.2.1任务概述

5.2.2传统的命名实体链接方法

5.2.3基于深度学习的命名实体链接方法

5.3命名实体关系抽取

5.3.1任务概述

5.3.2传统的命名实体关系抽取方法

5.3.3基于深度学习的命名实体关系抽取方法

5.4本章小结

第6章知识推理

6.1什么是知识推理

6.2基于符号的知识推理

6.3基于随机游走的路径排序算法

6.4基于增强学习的路径推理

6.4.1DeepPath

6.4.2MINERVA

6.5基于深度神经网络的路径推理

6.5.1Path-RNN

6.5.2扩展的Path-RNN

6.6本章小结

第7章知识图谱的应用

7.1知识库问答

7.1.1基于信息抽取的知识库问答

7.1.2基于语义解析的知识库问答

7.1.3基于嵌入表示的知识库问答

7.2知识图谱在文本生成中的应用

7.2.1常识知识驱动的对话生成模型

7.2.2常识知识驱动的故事结局生成模型

7.3知识图谱在情感挖掘中的应用

7.3.1语言学知识驱动的情感分类

7.3.2知识图谱驱动的情感分析

7.4本章小结

第8章知识图谱资源

8.1通用的知识图谱资源

8.1.1Freebase

8.1.2DBpedia

8.1.3OpenKG

8.1.4NELL

8.2领域相关的知识图谱资源

8.2.1电子商务知识图谱

8.2.2中医药知识图谱

8.3本章小结

参考文献