运维数据治理：构筑智能运维的基石

本书对运维数据治理的概念、知识体系和底层逻辑进行了深入剖析，构建了面向运维数据特点的数据治理方法和框架。本书分为概念篇、方法篇、实施篇和案例篇，从指标体系构建、运维数据资产化、元数据管理、数据安全、数据质量、数据标准化等角度，系统阐述了开展运维数据治理的方法，以及运维数据治理平台应具备的关键能力，并介绍了构建运维数据平台相关的采集、存储、处理、计算、管理、服务、监控、消费等各方面的技术实现手段和方法。本书适合政府和企业的信息化负责人、CIO、运维主管、软件研发负责人等阅读。

陆兴海，云智慧（北京）科技有限公司副总裁，目前负责咨询业务。具备十多年互联网、信息化以及运维相关领域的产品规划、设计与研发经验，是国内IT相关服务领域最早的实践者和专家之一，同时也是智能运维国标编写组核心成员。

彭华盛，超过10年的金融领域运维工作，期间负责参与金融企业运维组织、流程、工具的建设，包括重大业务系统项目与数据中心工程性项目的实施、数据中心标准化工作流程构建、运维工具体系的规划与研发、数字化转型研究与实施等相关工作，对金融领域的运维有较全面的理解，探索推进数字化技术与运营转型双轮驱动的协同模式。

适读人群 ：政府、企业的信息化负责人、CIO、运维主管和软件研发负责人

深入剖析运维数据治理的概念、知识体系和底层逻辑

构建面向运维数据特点的数据治理方法和框架

上古时期：结绳记事
山西朔州峙峪遗址，距今二万八千年前，就已经有了结绳记事的记载。《周易注》提及：“结绳为约，事大，大结其绳，事小，小结其绳。”就是说根据事件的大小、类型和数量来结系不同的绳结，这说明在古代，人们就可以用“结绳记事”的形式对事物进行有效记录。
如今：元宇宙
美国东部时间2021年10月28日，在名为Facebook Connect的年度大会上，社交领域的巨头Facebook宣布改名为Meta，全力进军元宇宙领域。首席执行官马克·扎克伯格解释说，这家科技巨头将从一家社交媒体公司转变为“一家元宇宙公司”,在一个“实体互联网”中运作,比以往任何时候都更加融合现实和虚拟世界。
穿越三万年，将以上两个事件联系在一起的要素只有两个字：数据。
在21世纪，数据比历史任何时期都更加迅猛而深刻地改变着我们所认知的世界的一切：工作、学习、娱乐、健身、购物，甚至死亡和战争。我们比任何时候都更依赖数据，就像依赖空气和水。
就像大气治理和水治理一样，数据也需要治理。治理的本质是让事物从混沌走向清晰，不断克服“熵增”给人们带来的不确定性和恐惧心理。放到企业数据治理这个课题中，企业数据治理这个已经存在将近20年的领域，就是不断通过各种创新的模型方法和体系标准，制定和实施针对整个企业内数据的商业应用和技术管理的体系，包括组织、制度、流程和工具，它是企业实现数字战略的基础，也是数据价值实现的基本保障手段。
2016年是智能运维（AIOps）的元年，自全球著名的IT咨询机构Gartner在2016年正式提出AIOps以来，国内外各个企业与厂商都在积极探索与尝试利用大数据、机器学习等技术来改进和增强传统的IT运维能力（如在监控、自动化和服务管理等方向）。关于智能运维，业界有很多的定义、理解和解释，但笔者在2019年年底参加的Gartner全球I&O大会上，分析师Charley Rich一语道破了其本质：“智能运维的另外一个名字就是数据分析。”（My name is AIOps, but you can call me Data Analytics）所以，拨开迷雾，除了各种各样的数据应用场景、各种高深复杂的算法和各种各样酷炫的可视化，最基础的部分就是数据——运维数据是构建和落地智能运维的基石。
运维数据作为一类特殊的企业数据，自然也需要治理。
不幸的是，经过数年来的实践与摸爬滚打，人们发现，简单用面向“企业业务数据治理”的方法来解决“面向智能运维的运维数据治理”任务时，出现了很多的挑战和困难，这种挑战来自业务数据和运维数据的固有属性、数据模型以及上层数据消费场景的差异性，所以需要思考，用什么样的模型和方案能够更好地解决面向运维的数据治理问题。
需要靠心思和实战，还有时间来解决。
笔者供职的云智慧公司，在构建智能运维解决方案、产品技术平台以及多个项目的实施实践中，获得了一些有益的思考和感悟；在与华盛以及智能运维国家标准编写组的各位专家探讨“智能运维通用标准”以及“运维数据治理与管理标准体系建设”两个课题的时候，也得到了很多业界专家的很好的启发。所以，我和华盛一起商量着编写一本关于运维领域数据治理的专著，我们希望能够通过理念导入，让大家认知运维数据和运维数据治理这个领域的独特性及其与传统的数据治理之间的关系和差异。运维数据治理并不是全新的课题，它必须能够继承企业数据治理模型或者标准（如DAMA、DGI数据治理模型、GB/T 36073—2018等），以及好的顶层架构设计，在此基础上做战略对齐和执行规划。我们希望通过提出的理念和方法论以及实施层面的模型，能够对广大的IT技术人员和运维及运维研发人员有一个方法层面的帮助；基于这个参考对本企业的运维数据治理做规划设计的时候，能够充分考虑到运维场景以及运维数据的特殊性，并能将这些思考点融入每个阶段的实施过程中。当然，我们也给出了以往在一些项目中积累的实践案例，他山之石，可以攻玉，真心希望能对各位读者有所启发。
诚然，本书提出的各种观点和方法未必成熟，仅仅是我们对“运维数据治理”这一课题的浅薄理解和认知。我们也希望这个课题得到更多专家的关心与关注，就像软件产品一样，得到大家的帮助之后不断“敏捷迭代”式优化。所以，很期待对本书进行再版。

陆兴海　　
2022年1月1日

推荐序一

推荐序二

推荐序三

推荐序四

自序

前言

概念篇

第1章　运维数字世界2

1.1　元宇宙与数字世界3

1.2　全球范围内的数字化时代已至4

1.3　数字化世界面临的崩塌风险5

1.4　IT与运维的价值传递和创造5

1.5　数字化时代的运维挑战9

1.6　从人力运维（HIOps）到智能运维（AIOps）13

第2章　运维数据治理是数字化运维的新课题18

2.1　数据、算法、场景：工程化的“三驾马车”18

2.2　当前广泛认知的企业数据治理20

2.2.1　国家标准：GB/T 36073—201822

2.2.2　国家标准：GB/T 34960.5—201824

2.2.3　国际标准：ISO/IEC 38505-126

2.2.4　DAMA-DMBOK2数据管理知识体系指南27

2.2.5　DGI数据治理模型29

2.3　运维数据治理面临的新挑战30

2.3.1　业务数据及其治理的应用场景32

2.3.2　对狭义运维数据的抽象认识34

2.3.3　运维数据治理的特色之一：配置管理CMDB36

2.3.4　运维数据治理的特色之二：运维指标体系管理38

2.3.5　运维数据治理的特色之三：调用链路及其应用场景40

2.3.6　运维数据治理呼唤新思考和新方法43

2.4　运维数据治理模型44

方法篇

第3章　数据升华之路：从运维数据到资产50

3.1　认识运维数据原材料51

3.1.1　运维数据全景51

3.1.2　运维数据类型聚焦数据应用53

3.1.3　运维数据形式聚焦平台化建设57

3.1.4　运维数据载体抽象数据处理技术65

3.2　运维数据资产化之路68

3.2.1　面临的问题68

3.2.2　运维数据资产化70

3.3　运维数据平台72

3.4　小结73

第4章　运维数字地图：元数据74

4.1　认识运维数字世界75

4.1.1　运维早已身处数字世界75

4.1.2　数字地图描述运维数字世界77

4.1.3　运维元数据模型80

4.2　元数据描述运维对象81

4.2.1　运维对象是运维数字世界的基本原材料81

4.2.2　CMDB描述运维对象82

4.2.3　元数据赋予CMDB步入新的阶段84

4.3　元数据描述运维指标86

4.3.1　运维指标的构建目的86

4.3.2　运维指标需要元数据管理87

4.3.3　基于运维指标体系建立指标元数据管理88

4.4　构建系统架构关系89

4.4.1　架构与架构资产化89

4.4.2　串联运维对象的横纵关系92

4.5　运维元数据管理技术架构94

4.5.1　元数据的采集与存储94

4.5.2　元数据的监控与管理96

4.5.3　元数据的分析与服务96

4.6　运维知识管理97

4.7　小结98

第5章　主数据之魂：运维指标体系100

5.1　运维主数据管理思路101

5.2　不同领域指标体系的建设经验102

5.2.1　国外指标体系理论方法趋于成熟102

5.2.2　国内积极探索指标体系建设方法104

5.3　指标体系的概念和类型108

5.3.1　认识指标108

5.3.2　指标体系的类型112

5.3.3　构建运维指标体系的价值112

5.4　数字化运维指标体系构建的方法论114

5.4.1　D-CREAM模型114

5.4.2　指标体系实施步骤116

5.4.3　数字化运维指标涵盖的内容118

5.4.4　IT卓越运营指标118

5.4.5　指标的生产与管理121

5.5　小结125

第6章　标准化先行：运维数据标准前移126

6.1　标准化概述以及数据标准的内涵127

6.1.1　统一的共识：数据标准定义127

6.1.2　数据标准的典型分类方式128

6.1.3　国内数据标准和规范概况129

6.2　运维数据标准面临的挑战及落地方法130

6.2.1　面临的挑战130

6.2.2　落地运维标准的系统化方法131

6.3　运维数据标准落地实践133

6.3.1　运维数据之日志标准化的范围134

6.3.2　运维数据之日志标准化的投入分析136

6.3.3　运维数据之日志标准化的执行方案137

6.3.4　运维数据之日志标准化的技术赋能139

6.3.5　运维数据之日志标准化的标准运营141

6.4　小结143

第7章　运维数据安全管理144

7.1　数据安全治理概述145

7.1.1　数据安全正面临更多的严峻挑战145

7.1.2　数据安全治理已经受到高度重视146

7.1.3　运维数据安全治理的定义及内涵147

7.2　运维数据安全分析148

7.2.1　数据安全的五个影响阶段148

7.2.2　运维数据安全形势解析149

7.2.3　运维数据安全治理原则150

7.3　运维数据安全治理体系151

7.3.1　运维数据安全体系的架构151

7.3.2　运维数据安全的组织保障152

7.3.3　运维数据安全的流程保障153

7.3.4　运维数据安全的技术平台154

7.3.5　运维数据安全的实施路线157

7.4　小结158

第8章　运维数据质量治理159

8.1　数据质量治理概述160

8.1.1　运维数据质量管理释义160

8.1.2　运维数据质量面临的挑战161

8.1.3　影响运维数据质量的因素162

8.2　运维数据质量管理分析指标163

8.3　运维数据质量管理方法165

8.3.1　构建三位一体的运维数据质量管理165

8.3.2　建立体系化的运维数据质量组织管理167

8.3.3　制定数据质量管理流程闭环169

8.3.4　数据质量全生命周期的技术平台思路171

8.4　探讨运维数据质量监测平台的技术实现173

8.4.1　质量监测平台建设思路173

8.4.2　数据质量保障174

8.4.3　数据安全保障177

8.5　小结178

实施篇

第9章　策划阶段182

9.1　谋定而后动：策划先行182

9.2　价值主张为最终价值服务183

9.3　发展基线的现状梳理185

9.4　擘画战略蓝图186

9.5　指引实施的路线规划187

9.6　小结189

第10章　建设阶段190

10.1　围绕“四位一体”的建设工作190

10.2　面向敏捷协作的组织架构191

10.3　制度流程是建设保障195

10.4　落地支撑与赋能：技术平台198

10.5　面向不同类别的治理场景200

10.6　小结202

第11章　运营阶段203

11.1　面向持续改进的治理运营203

11.2　发现“不匹配”：质量监测204

11.2.1　运维数据质量感知204

11.2.2　制定异常优化决策206

11.2.3　跟踪决策执行落地207

11.3　运维数据的可视化208

11.4　实施数据治理的资源保障211

11.5　小结212

案例篇

第12章　某股份制银行运维指标体系管理实践216

12.1　新运维对运维指标管理的新挑战216

12.2　指标体系管理的建设目标218

12.3　建设方案和落地实践220

12.3.1　指标管理体系的顶层设计规划220

12.3.2　“三阶段”实现指标体系落地221

12.4　运维指标体系建设价值成果226

第13章　某省级运营商新一代配置管理建设227

13.1　新一代配置管理面临的挑战227

13.2　新一代CMDB的建设目标229

13.3　建设方案和落地实践231

13.3.1　新一代配置管理的总体规划231

13.3.2　配置管理的落地实践233

13.4　建设价值成果241

第14章　某大型移动支付企业数据平台建设实践243

14.1　运维数据平台建设带来的挑战243

14.2　运维数据平台建设的原则及目标244

14.2.1　建设目标：打破IT数据孤岛244

14.2.2　建设中考虑的多个原则246

14.3　建设方案和落地实践248

14.3.1　基于数据管理需求的数据平台建设方案248

14.3.2　运维数据平台功能架构250

14.3.3　基于流程指标的数据运营254

14.4　建设价值特色与成果260

致谢261