数据架构之道：数据模型设计与管控

本书全面介绍了数据架构与数据建模的相关知识，全书分为4篇，共16章。

第1~3章为数据架构基础篇，介绍了企业架构、数据架构及数据模型的基础概念。第4~9章为数据模型设计篇，介绍了如何通过数据模型记分卡规范化数据模型设计，以及经典数据建模方法论，包括范式建模、维度建模、Data Vault建模、统一星型建模。第10~12章为数据模型落地篇，介绍了在企业中如何实现多人协作构建模型、如何管控数据模型、数据模型数据与数据标准，以及元数据如何形成数据治理闭环。第13~16章为行业数据模型篇，分别介绍了证券、保险、教育、航空业的数据架构及数据模型。

本书既可以作为数据建模人员、数据开发人员的学习用书，也适合非IT专业但对数据有强烈兴趣的业务人员使用，还可以作为高等院校计算机、数学及相关专业的师生用书和培训学校的教材。

王琤，Datablau数语科技创始人兼CEO。

具有近二十年数据管理经验，曾任CA ERwin全球研发负责人，曾服务过美国银行（BOA）、SunTrust、AT&T、壳牌等世界500强企业，参与过中国建设银行、华为、南方电网、中国人寿、中信集团等大型企事业单位的数据治理建设。现为国资委数据要素专家组成员，DAMA China数据架构、数据模型专家委员会牵头人，信通院数据资产专家委员会成员，Open Group成员，复旦大学、北京航空航天大学客座讲师，并有多项专利、论文发表于IEEE等机构。

（1）讲解企业数据架构、数据模型基础概念，以及经典数据建模方法论。

（2）全面介绍数据模型从设计到落地及管控等方面的细节。

（3）提供证券、保险、教育、航空业的数据架构及数据模型的案例和实践路径，为政企数字化转型提供参考。

编写背景

感谢你翻开这本书。

2016年年底，我从一家知名外企辞职，离开了呕心沥血11年打造的数据建模鼻祖产品及其全球研发负责人的岗位，开启了创业之旅。那时互联网如日中天，数据领域才刚刚起步。我常常也会心怀疑虑，数字化转型能走多远？未来还需要数据建模吗？过去十几年的经验能在时代大潮中经受住考验吗？

5年后的今天，答案显而易见。数据应用在各行业中百花齐放，精准营销、金融风控、无人驾驶、智慧农业，可以说是无处不在。而数据模型、数据架构也开始再次被人们所认识和重视。数据中台在被“热炒”的大浪中退去，我们发现其最终沉淀下来的不是各种光鲜或不知所云的新概念，而是人们对业务及数据的深刻理解，这些都沉淀在了数据模型中。

本书从数据架构的基本概念入手，从业务系统的三范式模型到数据仓库的维度模型、Data Vault模型，结合大量的行业实例及绘图进行展示，分析了数据模型的本质，并针对模型给出了详细解读。

本书适合正在建设数据中台、数据仓库及业务系统的业内人士，以及觉得模型晦涩难懂、无所适从的初学者，也适合作为计算机相关专业的教材。本书能帮助你理解经典的模型设计，并让你获得足够多的经验和实践技巧，以便更好地分析和解决问题。

更重要的是——体会到数据模型之美！

读者对象

本书适用于以下读者群体。

— 企业管理者

管理者决定着企业的发展方向、企业的数字化转型战略落地和数据业务化，业务流程、业务架构最终都通过数据架构落实到业务和技术实现中。企业需要具备“架构”能力，这种能力应该由管理者带头，从业务架构能力开始自上而下地建立起来。

— 数据架构师、数据建模师

数据架构师是综合型人才，既懂数据，又懂业务。数据模型是他们用来连通业务与数据之间鸿沟的最有力的工具。

— 技术人员、数据开发人员

数据开发人员忙于完成具体数据需求的任务，常常“只见树木，不见森林”，陷入不断拆解指标和澄清指标的沼泽中。数据模型一方面帮助数据开发人员从更广的业务视角来考虑数据仓库、数据中台、数据湖的整体设计；另一方面，有助于数据开发人员快速理解业务，并使其与业务人员更好地进行沟通。

— 业务人员

在实现业务与数据融合方面，业务人员会更关注数据对业务场景的支撑和价值，而忽略了底层的业务与数据。本书中的概念模型、逻辑模型都是对业务的描述，门槛相对较低，有助于业务人员走入数据的领域，提高业务人员与数据的交互度。

本书特色

本书旨在成为一本让各类读者都可以读得懂的数据架构和数据模型指南。

全书分为4篇，共16章，各篇章内容简介如下。

— 数据架构基础篇（第1~3章）

第1章介绍数据架构与数据模型的发展历史。第2章介绍企业架构及其与数据治理的关系。第3章介绍数据模型的基本概念，包括概念模型、逻辑模型、物理模型。

— 数据模型设计篇（第4~9章）

第4章介绍如何通过数据模型记分卡来衡量数据模型的质量。第5章介绍范式建模，包括第一、二、三范式等。第6章介绍数据仓库中的数据模型设计。第7章介绍维度建模，包括星型、雪花、星座模式等。第8章介绍Data Vault建模。第9章介绍统一星型模型建模。

— 数据模型落地篇（第10~12章）

第10章介绍数据模型管控，阐述模型设计完成后如何进行评审和管控。第11章介绍数据架构与数据治理的关系，以及数据模型与元数据的关系。第12章介绍数据模型与数据标准的关系。

— 行业数据模型篇（第13~16章）

第13章介绍证券资管行业的数据架构及模型。第14章介绍保险行业的数据架构及模型。第15章介绍教育行业的数据架构及模型。第16章介绍航空公司的数据架构及模型。

第一篇 数据架构基础篇

1 缘起 2

1.1 数据架构与数据模型 2

1.2 数据建模简史 5

2 企业架构 9

2.1 企业架构的构成 9

2.2 企业架构的框架 10

2.3 敏捷的企业架构治理 12

2.4 企业架构与数据治理 16

3 数据模型 17

3.1 概念模型 17

3.2 逻辑模型 21

3.3 物理模型 23

第二篇 数据模型设计篇

4 数据模型质量 26

4.1 数据模型记分卡 26

4.2 数据模型规范 37

5 范式建模 40

5.1 范式与模型 40

5.2 第一范式 42

5.3 第二范式 42

5.4 函数依赖 44

5.5 码 46

5.6 非主属性 46

5.7 第三范式 49

5.8 鲍依斯-科得范式 50

5.9 范式建模工作方法和流程 50

6 数据仓库 53

6.1 数据仓库的演化过程 53

6.2 数据仓库的概念 58

6.3 数据仓库的体系结构 59

6.4 数据仓库的工具与技术 60

6.5 企业级数据仓库 61

6.6 企业级数据仓库的解决方案 65

7 维度建模 69

7.1 维度建模的基本概念 69

7.2 维度建模的常见模式 76

7.3 维度建模的过程 78

7.4 维度建模的任务建议 81

7.5 数据仓库总线结构 84

8 Data Vault建模 89

8.1 Data Vault的起源 89

8.2 Data Vault建模方法 89

8.3 Data Vault适用场景 94

9 统一星型模型建模 96

9.1 统一星型模型简介 96

9.2 数据仓库与数据集市 97

9.3 数据集市的演变 102

9.4 集成数据集市的方法 106

9.5 向集成数据集市变革 108

9.6 统一星型模型 111

第三篇 数据模型落地篇

10 数据模型管控 120

10.1 背景介绍 120

10.2 数据模型管控的思路 122

10.3 组织架构 124

10.4 数据模型管控实战经验 126

11 数据架构与数据治理 136

11.1 企业架构与数据架构 136

11.2 数据架构驱动的数据治理 138

11.3 从数据架构到数据 139

11.4 元数据 141

11.5 元数据管理 142

11.6 数据模型与元数据的关系 143

11.7 数据模型与元数据的版本管理 144

11.8 数据模型与元数据的血缘分析 145

12 数据模型与数据标准 147

12.1 数据标准 147

12.2 数据模型与数据标准的关系 150

12.3 将数据标准应用于数据模型建设 150

12.4 从数据模型发现并生成新的数据标准 151

第四篇 行业数据模型篇

13 证券资管行业的数据架构及模型 154

13.1 证券公司业务概览 154

13.2 证券行业数据管控 156

13.3 证券公司数据模型 161

14 保险行业的数据架构及模型 165

14.1 保险行业业务概述 165

14.2 保险行业监管数据标准 166

14.3 保险行业数据模型 167

15 教育行业的数据架构及模型 182

15.1 教育行业信息化发展及现状 182

15.2 数据标准化管理平台建设原则 183

15.3 数据标准化管理平台建设目标 184

15.4 教育行业数据架构的统筹规划 185

15.5 教育行业数据建模前期的数据准备 187

15.6 教育行业的数据模型设计 189

15.7 教育行业的数据模型 190

16 航空公司的数据架构及模型 197

16.1 航空公司业务与信息化 197

16.2 民用航空行业数据标准 200

16.3 航空公司数据架构 200

16.4 航空公司数据模型 205

16.5 概念模型的组成 206

16.6 航班运行领域数据模型 212

附录A 证券期货业已发布标准 214

附录B 保险行业转型相关政策文件 218

附录C 财产保险业务及人身保险业务要素数据规范 220

附录D 民用航空行业数据标准简介 222