华为数据之道

这是一部从技术、流程、管理等多个维度系统讲解华为数据治理和数字化转型的著作。华为是一家超大型企业，华为的数据底座和数据治理方法支撑着华为在全球170多个国家/地区开展多业态、差异化的运营。书中凝聚了大量数据治理和数字化转型方面的有价值的经验、方法论、规范、模型、解决方案和案例，不仅能让读者即学即用，还能让读者了解华为数字化建设的历程。

全书共10章，内容从逻辑上分为四个部分。

第一部分（第1~3章）

第1章以非数字原生企业在数字化转型方面面临的挑战开篇，介绍了华为在数据治理和数字化转型方面的目标、愿景、蓝图和框架；第2章从企业政策和架构协同的角度，介绍了企业级的数据综合治理体系，理顺了数据与变革、运营、IT之间的协同关系，明确了数据管理的责任主体在业务；第3章详细阐述了不同类型的数据的管理方式和要点。

第二部分（第4~6章）

详细讲解了数据治理工作中的三项重点任务：信息架构、数据底座、数据服务。第4章介绍了信息架构的四个组件，给出了建设原则和核心要素，并引出了业务对象、过程、规则三项数字化的建设方向；第5章提出了数据底座建设的整体框架，介绍了数据湖和数据主题连接两个层次的建设实践；第6章以自助、高效、复用为数据服务的目的，提出了对数据进行搜索、加工和分析的消费过程管理方案。

第三部分（第7~9章）

系统总结了数据治理的三项关键能力：数据的全量感知、综合质量提升、可控共享。第7章以数字孪生的全量、无接触感知为目标，介绍了数据的硬感知和软感知两类能力；第8章基于PDCA框架，介绍了对企业业务数据异常的全面监控；第9章介绍了如何构建以元数据为基础的数据安全隐私保护框架，如何建立动静结合的数据保护与授权管理方案。

第四部分（第10章）

基于对“机器认知世界”的理解，我们提出了对数据治理未来的思考，畅想了AI治理、数据主权和数据生态建设。未来已来，让我们共同努力，把数字世界带入每个人、每个家庭、每个组织，构建万物互联的智能世界。

华为公司数据管理部

华为公司数据管理部作为集团层面的数据管理组织，主要负责如下工作：

公司数据工作的战略规划、路标举措以及实施落地；

数据从产生到消费全生命周期管理的治理框架、流程规范、方法和IT工具的制定与推行；

公司级信息架构的设计和数据资产的治理维护；

主持集团层面数据相关项目，推动以数据为核心的数字化转型；

设计公司数据质量度量模型、执行数据质量监控及重大数据问题披露；

组织跨业务领域、跨BG信息架构集成和数据问题的解决；

负责公司数据管理能力提升，推动企业数据文化建立和传播。

（1）华为官方首次对外系统披露其数据治理与数字化转型方法论，中国企业的数字化转型标杆。

（2）本书由华为董事、质量与流程IT总裁、CIO陶景文等华为高管写序推荐。

（3）华为公司数据管理部撰写，华为质量与流程IT、华为云和华为大学联合出品。

（4）华为的数据底座已经能支撑华为在全球170多个国家/地区开展多业态、差异化的数字化运营。

（5）本书公开出版前，在华为内部共发行14000余册，获得了良好的反馈和口碑。

序　一

第三次工业革命带来了机器的进步，但却不能解决一个行业或者一家企业的运营问题，运营效率低下带来的运营成本居高不下，已经成为一个时代性的难题。随着第四次工业革命的来临，数字化生产已经成为普遍的商业模式，其本质是以数据为处理对象，以ICT平台为生产工具，以软件为载体，以服务为目的的生产过程。数字技术和数字平台能够从根本上解决这个时代性的问题，使企业有可能在产品、体验和成本三要素上同时做到最优。

全球各行各业都在积极探索和开展数字化建设，期望通过数字化技术来支撑业务的长期、持续增长。华为作为一家拥有30多年历史、全球领先的ICT基础设施和智能终端供应企业，同样有着数字化转型的强烈愿望。

华为为什么要进行数字化转型？

华为是一家业务范围涵盖研发、营销、制造、供应、采购、服务等领域的非数字原生企业，在信息化时代初期建立了很多相对独立的IT系统，典型的特点是形成了“一类业务、一个IT系统、一个数据库”的封闭式IT架构。其带来的直接问题就是“数据孤岛”：IT系统中的数据语言不统一，不同IT系统之间的数据不贯通，同样的数据需要在不同IT系统中重复录入，甚至不同IT系统中的同一个数据不一致等。这些问题限制了运营效率的提升和效益的改进，华为迫切需要数字化转型来改变这种状况。

华为规划的数字世界是什么样子的？

其内容无外乎就是业务对象、业务过程和业务规则的数字化，华为希望构建一个实现感知、联接和智能的数据平台。感知是物理世界与数字世界之间形成完整且有效的映射，联接是把各种离散的数据相互联系成有机整体，智能是在这个基础上加入一些大数据和高级模型算法。

华为如何进行数字化转型？

首先，要抓住数据治理这个“牛鼻子”。华为的IT系统和数据有太多的历史包袱，要进行数据治理并不容易，到今天为止，我们所做的也只能说“刚刚及格”。我们想要在构建新的数据平台时不对原有的信息系统进行颠覆性改造。因此我们一方面通过感知能力实现业务数据的自动采集，另一方面通过一些技术手段，把现有的各个相对独立的数据库中的数据按一定的标准进行汇聚和联接。这就带来了“数据湖”的全新体验，先初步解决“数据孤岛”的问题，然后再来进行深入的数据治理。

数字化转型是当前各个行业的各个企业最关心的话题，是一次大的机遇，也是一次大的挑战。现在业界的数字化转型过多地强调了技术的动因，而我认为数字化转型应该首先强调业务价值。根据Paul Romer的《内生经济理论》，我们在做数字化转型时要反复问自己：

第一，数字化转型到底要解决客户的什么问题？用户到底需要什么？用户和客户关心的问题在哪？

第二，业务战略到底要解决业务的什么问题？

第三，变革是否有一个好的规划和持续的架构？

数字化转型是一个持续优化的过程，只有起点，没有终点。

本书是华为视角的数据治理总结，其中的内容都是华为在数字化转型实践中的经验和教训。数据治理是一件很专业的事情，我们希望本书能给同行提供借鉴、带来启发，也能促成业界与我们的深入探讨和研究，共同推进企业的数字化转型。

陶景文

华为董事、质量与流程IT总裁、CIO

序　二

2017年初，数字化大潮方兴未艾，华为轮值董事长郭平在公司“817变革战略规划”中提出，要在内部率先实现数字化转型，并把实现ROADS体验、全面提升运营效率作为公司各业务单元和功能领域的共同变革目标。对于集研发、制造、采购、供应、销服于一体，横跨ToB、ToC业务领域，运营30余年的一家传统企业，如何用数字化的手段来全面改造公司的流程和IT，改变支撑近20万人有效运作的运营模式，成为华为公司变革指导委员会讨论的焦点。

不同于数字世界的“原住民”，非数字原生企业的数字化转型是企业的一次巨大变革。这场变革涉及商业模式、运营模式的变化，需要完成流程、组织、IT、文化等多方面的转变，对于飞速发展的华为来说，相当于在高速路上换轮胎。华为当时面临的局面是，存量的IT“烟囱”遍布各个业务但又支撑着海量的交易和分析，各种短期见效的数据搬家、自动化小工具逐渐从“帮手”变成了“帮凶”，数据被“私有化”为各个业务部门的“资产”，“表哥表姐”为了实现数字化运营加班加点整理Excel，高薪招来的数据科学家却因为没有数据而闲得离职……

变革指导委员会经过充分的讨论达成共识：数字化转型要坚持业务和技术的双轮驱动，而连接双轮的“轴”就是数据。只有建立统一、清洁、智能的数据底座，才能支撑公司不断发展的新业务，支撑各个区域市场的差异化需求，实现“数据实时可视、海量业务自动、算法支撑决策”，实现“万物互联的智能世界”。

2017年10月，“统一数据底座建设”项目立项。针对数据搬家多、找不到、读不懂、获取难、不敢信等痛点，将“打破数据孤岛，支撑数字化转型，实现数据随需共享、敏捷自助、安全合规”作为项目目标。项目组一手抓数据入湖与联接，一手抓数据消费，经过两年多的努力，终于基本完成了数据底座的建设。今天，数据底座支撑着华为在全球170多个国家的差异化运营，支撑着公司各BG海量的交易与分析，驱动了交付、供应、财经等诸多领域的运营模式（在线、远程、集中）转型，也帮助公司实现了在美国极限施压下的快速分析与应对。数据底座成为华为数字化转型的基石。

数字化变革不仅仅是技术的变革，华为数据底座的建设过程充分说明了这一点。本书是华为数字化转型过程中数据变革实战的阶段总结，希望能给数字化转型道路上的企业一些帮助，同时也欢迎各方朋友交流、指正。

熊康

华为企业架构与变革管理部部长

序　三

企业数字化转型是大势所趋，通过数据科学治理、数据平台建设、数据分析与建模，把数据变成服务，使数据能在企业内顺畅流动起来，为企业带来巨大的价值。数据是企业数字化转型的重要基础。

为了实现数字化转型，企业需要构建以云为基础、以数据为驱动的新型企业IT架构。但是，多年积累下来的存量IT系统和大量历史数据怎么办？华为数字化转型的核心理念是“双模IT、立而不破”，通过建立新老环境融合的双模（Bi-Model）IT架构，把企业的新老数据和应用与正在及未来将要产生的IoT数据连接在一起，构建统一的数据与应用平台，并与机器学习、人工智能等技术手段相结合，使数据产生更大的价值。

数据的潜在应用场景有很多，但是企业只有将数据与自身业务相结合，从业务实际问题出发，结合数据分析技术找到解决方案，并及时变现，才有真正的意义。数据时代已经到来，华为在深入数字化转型的过程中，在全球供应链、松山湖制造工厂以及170多个国家的工程交付现场，以“对象数字化、过程数字化和规则数字化”为基本原则，通过IT工具引入和人工智能元素的叠加，实现从过去的“人拉肩扛”到现在的线下、线上高效协同，为业务创造了很大的价值。

本书对华为公司多年数据治理和数据消费变革历程进行了系统性总结，从治理体系、架构方法、流程规范、IT工具、数据组织等多方面总结了企业在数据治理中面临的挑战及其解决方案，并介绍了一些华为独有的创新成果，如数据底座、数据湖、主题联接、数据地图、数据生态等。

相信华为在数字化转型历程中所积累的实践、方法和思考，会使奋战在各行各业的企业家和IT同人产生共鸣。让数据治理更简单，使用更简单，能够更方便地挖掘数据价值，是我们共同的期许。企业数字化转型不可能一蹴而就，而是一个长期的过程。本书将华为在数据管理和数字化转型实践中沉淀的能力对外分享，与志同道合的业界同人一起切磋、联合创新，一定可以加速企业数字化转型的进程。

苏立清

华为云副总裁、华为云首席数字化转型官

前　言

随着数字化转型的深入开展，数据成为新的生产要素。对于非数字原生企业，数据治理的重要性越来越突出。如何有效地开展数据治理工作、提升数据质量、打破数据孤岛、充分发挥数据的业务价值，成了业界的热门话题。本书基于华为数据治理的历程，介绍了华为数据工作的愿景、整体思路框架，阐述了企业级数据综合治理体系和方法论，回顾了华为数据底座的建设过程，总结了华为数据治理和数字化转型的经验。

华为公司作为典型的非数字原生企业，发展初期基本是以物理世界为中心构建的，缺乏以软件和数字平台为核心的数字世界架构，在数字化转型过程中，面临着巨大挑战。华为从小到大、从弱到强几十年不断发展的历程中，伴随着一次次重大业务变革、信息化建设和数字化转型。本书理论结合实践，通过对华为公司数据治理体系和数据底座建设方法与实践的介绍，讲述了数据工作如何支撑业务变革，如何驱动数字化转型，总结了华为数据工作的发展历程、经验和对未来的思考。书中所述的方法、规范、解决方案都经过华为内部的充分实践，相信对企业数字化转型的领导者、设计者、实施者和参与数据治理的同行，会有一定的启发和借鉴意义。

内容简介

本书共10章，内容从逻辑上可以分为四部分。

第一部分为第1~3章。第1章以非数字原生企业在数字化转型时面临的挑战为引导，阐述了数据驱动的企业数字化转型理念，介绍了华为公司的数据治理框架；第2章从企业政策和架构协同的角度，介绍了企业级的数据综合治理体系，理顺了数据与变革、运营、IT之间的协同关系，明确了数据管理的责任主体在业务；第3章以数据特性的差异为维度，详细阐述了不同类型数据的不同管理方式，明确了结构化数据、非结构化数据、外部数据、元数据的核心管理要点。

第二部分为第4~6章，介绍了数据治理工作中的三项重点建设任务：信息架构、数据底座、数据服务。第4章介绍了信息架构的四个组件，给出了建设原则和核心要素，并引出了业务对象、过程、规则三项数字化的建设方向；第5章提出了数据底座建设的整体框架，分别介绍了数据湖和数据主题联接两个层次的建设实践；第6章以自助、高效、复用为数据服务的目的，提出了对数据进行搜索、加工和分析的消费过程管理方案。

第三部分为第7~9章，介绍了数据治理的三项关键能力：数据的全量感知、综合质量提升、可控共享。第7章以数字孪生的全量、无接触感知为目标，介绍了数据的硬感知和软感知两类能力；第8章基于PDCA框架，介绍了对企业业务数据异常的全面监控，从而助力数据质量综合水平的提升；第9章介绍如何构建以元数据为基础的数据安全隐私保护框架，如何建立动静结合的数据保护与授权管理方案。

第四部分为第10章。基于对“机器认知世界”的理解，我们提出了对数据治理未来的思考，畅想了AI治理、数据主权和数据生态建设。未来已来，让我们共同努力，把数字世界带入每个人、每个家庭、每个组织，构建万物互联的智能世界。

读者对象

企业管理者：CEO，CIO，CDO，数字化转型项目的领导者、设计者和实施者。

数据从业人员：数据架构师、数据工程师、数据质量工程师、数据产品经理、数据分析师。

IT从业人员：应用架构师、数据库专家、业务架构师。

致谢

本书主要作者有马运（Yun Ma）、杜浩、王强、陈实和周剑锋。参与写作的还有公司数据管理部的专家韦冬、廖华赟、赵子文、傅琨等。各位作者在数据领域耕耘和坚持多年。

本书的写作目的来自内外两方面：首先，公司内部希望我们对数据工作进行系统的梳理总结，积累企业数字化转型的经验；其次，华为云和华为中国地区部也希望我们能够写本书，以便和客户分享华为数据治理的实践，输出数据驱动企业数字化转型的理念和方法。在此感谢陶景文、熊康、邓涛、洪方明、韩晓、苏立清等领导的建议、支持和指导。

本书的内容来自华为数据体系多年的工作实践，特别是最近几年在数字化转型方面的探索。公司数据治理的实践经验是在公司变革体系、质量运营体系、流程体系、IT和数据体系等各部门的共同努力下取得的。感谢郝健康、张印臣两位领导对数据体系建设的贡献！感谢数据体系的全体同人！感谢所有支持数据工作的同事！

感谢华为云殷宏、祝向党，华为大学陈小宇、蒋文俏以及胡小敏等人从读者视角对本书进行审视，并在编写过程中给予了我们很大的帮助。

数字化转型波澜壮阔，华为数据治理也历经十多年沉淀，成果丰富，本书呈现出来的内容实属挂一漏万，加上编写时间仓促，书中难免会出现一些失误或者不准确的地方，恳请读者批评指正。

华为公司数据管理部

序一

序二

序三

前言

第1章　数据驱动的企业数字化转型

1.1　非数字原生企业的数字化转型挑战2

1.1.1　业态特征：产业链条长、多业态并存3

1.1.2　运营环境：数据交互和共享风险高4

1.1.3　IT建设过程：数据复杂、历史包袱重4

1.1.4　数据质量：数据可信和一致化的要求程度高5

1.2　华为数字化转型与数据治理6

1.2.1　华为数字化转型整体目标6

1.2.2　华为数字化转型蓝图及对数据治理的要求7

1.3　华为数据治理实践9

1.3.1　华为数据治理历程10

1.3.2　华为数据工作的愿景与目标12

1.3.3　华为数据工作建设的整体思路和框架12

1.4　本章小结15

第2章　建立企业级数据综合治理体系

2.1　建立公司级的数据治理政策18

2.1.1　华为数据管理总纲18

2.1.2　信息架构管理政策20

2.1.3　数据源管理政策21

2.1.4　数据质量管理政策22

2.2　融入变革、运营与IT的数据治理24

2.2.1　建立管理数据流程24

2.2.2　管理数据流程与管理变革项目、管理质量与运营之间的关系26

2.2.3　通过变革体系和运营体系进行决策26

2.2.4　数据治理融入IT实施27

2.2.5　通过内控体系赋能数据治理27

2.3　建立业务负责制的数据管理责任体系28

2.3.1　任命数据Owner和数据管家28

2.3.2　建立公司层面的数据管理组织29

2.4　本章小结33

第3章　差异化的企业数据分类管理框架

3.1　基于数据特性的分类管理框架35

3.2　以统一语言为核心的结构化数据管理36

3.2.1　基础数据治理39

3.2.2　主数据治理40

3.2.3　事务数据治理46

3.2.4　报告数据治理46

3.2.5　观测数据治理48

3.2.6　规则数据治理50

3.3　以特征提取为核心的非结构化数据管理52

3.4　以确保合规遵从为核心的外部数据管理54

3.5　作用于数据价值流的元数据管理56

3.5.1　元数据治理面临的挑战56

3.5.2　元数据管理架构及策略59

3.5.3　元数据管理60

3.6　本章小结71

第4章　面向“业务交易”的信息架构建设

4.1　信息架构的四个组件74

4.1.1　数据资产目录75

4.1.2　数据标准77

4.1.3　数据模型80

4.1.4　数据分布80

4.2　信息架构原则：建立企业层面的共同行为准则81

4.3　信息架构建设核心要素：基于业务对象进行设计和落地84

4.3.1　按业务对象进行架构设计84

4.3.2　按业务对象进行架构落地87

4.4　传统信息架构向业务数字化扩展：对象、过程、规则90

4.5　本章小结95

第5章　面向“联接共享”的数据底座建设

5.1　支撑非数字原生企业数字化转型的数据底座建设框架98

5.1.1　数据底座的总体架构98

5.1.2　数据底座的建设策略100

5.2　数据湖：实现企业数据的“逻辑汇聚”101

5.2.1　华为数据湖的3个特点101

5.2.2　数据入湖的6个标准103

5.2.3　数据入湖方式106

5.2.4　结构化数据入湖109

5.2.5　非结构化数据入湖113

5.3　数据主题联接：将数据转换为“信息”117

5.3.1　5类数据主题联接的应用场景117

5.3.2　多维模型设计120

5.3.3　图模型设计125

5.3.4　标签设计130

5.3.5　指标设计132

5.3.6　算法模型设计135

5.4　本章小结139

第6章　面向“自助消费”的数据服务建设

6.1　数据服务：实现数据自助、高效、复用142

6.1.1　什么是数据服务144

6.1.2　数据服务生命周期管理149

6.1.3　数据服务分类与建设规范156

6.1.4　打造数据供应的“三个1”162

6.2　构建以用户体验为核心的数据地图167

6.2.1　数据地图的核心价值167

6.2.2　数据地图的关键能力171

6.3　人人都是分析师175

6.3.1　从“保姆”模式到“服务+自助”模式175

6.3.2　打造业务自助分析的关键能力179

6.4　从结果管理到过程管理，从能“看”到能“管”187

6.4.1　数据赋能业务运营187

6.4.2　数据消费典型场景实践190

6.4.3　华为数据驱动数字化运营的历程和经验195

6.5　本章小结199

第7章　打造“数字孪生”的数据全量感知能力

7.1　“全量、无接触”的数据感知能力框架202

7.1.1　数据感知能力的需求起源：数字孪生202

7.1.2　数据感知能力架构205

7.2　基于物理世界的“硬感知”能力207

7.2.1　“硬感知”能力的分类207

7.2.2　“硬感知”能力在华为的实践213

7.3　基于数字世界的“软感知”能力215

7.3.1　“软感知”能力的分类215

7.3.2　“软感知”能力在华为的实践218

7.4　通过感知能力推进企业业务数字化220

7.4.1　感知数据在华为信息架构中的位置220

7.4.2　非数字原生企业数据感知能力的建设224

7.5　本章小结226

第8章　打造“清洁数据”的质量综合管理能力

8.1　基于PDCA的数据质量管理框架228

8.1.1　什么是数据质量228

8.1.2　数据质量管理范围229

8.1.3　数据质量的总体框架229

8.2　全面监控企业业务异常数据231

8.2.1　数据质量规则231

8.2.2　异常数据监控237

8.3　通过数据质量综合水平牵引质量提升243

8.3.1　数据质量度量运作机制243

8.3.2　设计质量度量245

8.3.3　执行质量度量248

8.3.4　质量改进253

8.4　本章小结256

第9章　打造“安全合规”的数据可控共享能力

9.1　内外部安全形势，驱动数据安全治理发展258

9.1.1　数据安全成为国家竞争的新战场258

9.1.2　数字时代数据安全的新变化258

9.2　数字化转型下的数据安全共享260

9.3　构建以元数据为基础的安全隐私保护框架261

9.3.1　以元数据为基础的安全隐私治理261

9.3.2　数据安全隐私分层分级管控策略263

9.3.3　数据底座安全隐私分级管控方案266

9.3.4　分级标识数据安全隐私271

9.4　“静”“动”结合的数据保护与授权管理272

9.4.1　静态控制：数据保护能力架构272

9.4.2　动态控制：数据授权与权限管理274

9.5　本章小结279

第10章　未来已来：数据成为企业核心竞争力

10.1　数据：新的生产要素282

10.1.1　数据被列为生产要素：制度层面的肯定282

10.1.2　数据将进入企业的资产负债表283

10.1.3　数据资产的价值由市场决定284

10.2　大规模数据交互的企业数据生态285

10.2.1　数据生态离不开底层技术的支撑286

10.2.2　数据主权是数据安全交换的核心287

10.2.3　国际数据空间的目标与原则289

10.2.4　多方安全计算强化数据主权291

10.3　摆脱传统手段的数据管理方式292

10.3.1　智能数据管理是数据工作的未来292

10.3.2　内容级分析能力提供资产全景图293

10.3.3　属性特征启发主外键智能联接293

10.3.4　质量缺陷预发现294

10.3.5　算法助力数据管理294

10.3.6　数字道德抵御算法歧视295

10.4　第四个世界：机器认知世界295

10.4.1　真实唯一的“物理世界”和五彩缤纷的“人类认知世界”295

10.4.2　映射“物理世界”的数字孪生—“数字世界”297

10.4.3　“数字世界”中的智能认知—“机器认知世界”298

10.5　本章小结299