5G时代的大数据技术架构和关键技术详解

在5G应用场景中，每个垂直行业都与大数据密不可分。本书希望把亚信科技二十多年的电信运营商领域经验，总结成一套体系化、标准化、基于5G网络特征云边协同架构的大数据技术框架，更好地推动新业务模式及应用场景落地。

全书共五篇：第一篇（第1～2章） 介绍5G网络环境下的大数据技术生态的发展趋势，以及大型企业大数据技术架构发展路线；第二篇（第3～5章） 介绍边缘计算的概念，以及大数据技术基于云边协同计算的落地方式；第三篇（第6～8章）介绍如何通过DataOps实现大数据的敏捷开发与运维服务。第四篇（第9～11章）介绍多种大数据智能化分析技术，如行业知识图谱、增强型分析、可信数据流通，快速实现大数据应用服务构建；第五篇（第12～14章）通过行业应用场景，详细描述如何通过5G网络及大数据技术重构行业应用及服务形态，并对未来技术趋势作出展望。

本书适合运营商企业的信息化负责人、系统架构师、IT人员，以及大型企业内的IT从业者阅读，也适合对5G及大数据技术感兴趣的其他读者阅读，可作为软件架构培训类参考书。

亚信科技（中国）有限公司（简称亚信科技，股票代码01675.HK）创建于1993年，是国内领先的软件产品、解决方案和服务提供商，致力于成为5G时代大型企业数字化转型的使能者。

公司积极拥抱5G、云计算、大数据、AI、物联网等先进的技术，依据“一巩固、三发展”的战略决策，依托产品、服务、运营和集成的能力，在传统业务方面，以5G为契机，全面布局，提升效能，巩固BSS市场的领导地位；在新兴业务方面，5G OSS网络智能化、DSaaS数字化运营服务、企业上云及垂直行业领域快速规模化发展。同时，公司将与业界伙伴共同建设生态体系，持续推动商业模式转型，为企业数字化转型和产业可持续发展贡献力量。

亚信科技拥有行业领先的研发能力和丰富的电信级软件产品，包括客户关系管理、计费账 务、大数据、物联网及5G网络智能化产品。大型企业客户来自金融、交通、邮政、能源、广电、零售、政务等行业。

来自国内大型电信软件与服务提供商的实战分享。

介绍大数据智能化分析技术，实现大数据应用服务构建。

总结基于5G网络特征云边协同架构的大数据技术

框架。

丛书序

2019 年 6 月 6 日，工信部正式向中国电信、中国移动、中国联通和中国广 电四家企业发放了5G 牌照。这意味着中国正式按下了5G 商用的启动键。可以想见，在未来的若干年中，万众睢睢的5G将与人工智能、云计算、大数据、 物联网等新技术一起，改变个人生活，催生行业变革，加速经济转型，推动社 会发展，真正打造一个“万物智联”的多维世界。

5G 将带来个人生活方式的迭代。更加畅快的通信体验、无处不在的AR/ VR、智能安全的自动驾驶……这些都将因 5G 的到来而变成现实，给人类带来 更加自由、丰富、健康的生活体验。

5G 将带来行业的革新。受益于速率的提升、时延的改善、接入设备容量 的增加，5G 触发的革新将从通信行业溢出，数字化改造得以加速，新技术的 加持日趋显著，新的商业模式不断涌现，产业的升级将让千行百业脱胎换骨。

5G 将带来多维的跨越。C 端消费与 B 端产业转型将共振共生。“4G 改变 生活，5G 改变社会”，5G 时代，普通消费者会因信息技术再一次升级而享受 更多便捷，千行百业的数字化、智能化转型也会真正实现，两者互为表里，互 相助推，把整个社会的变革提升到新高度。

2019 年是 5G 元年，也是亚信科技（中国）有限公司（简称亚信科技）上 市后的第一个财年。作为国内领先的软件与服务提供商、云网一体管理服务提 供商，亚信科技紧扣时代发展节拍，积极拥抱5G、云计算、大数据、人工智 能、物联网等先进技术，与业界客户、合作伙伴共同建设 5G+X 的生态体系， 为 5G 赋能千行百业、企业数字化转型、产业可持续发展积极做出贡献。

在过去的一年中，亚信科技继续深耕电信业务支撑软件与服务（Business Supporting System，BSS）的优势领域，为三大运营商的 5G 业务在中华大地全 面商用提供了强有力的支撑。

亚信科技将能力延展到5G网络Operation Supporting System（OSS）领域， 公司打造的 5G 网络智能化产品在三大运营商取得了多个商用局点的突破与落 地实践，在帮助运营商优化5G 网络环境、提升5G 服务体验的同时，公司也 迈出了拓展 OSS 领域的坚实一步。

亚信科技在数字化运营的 Data-Driven Software as a Service（DSaaS）这一 创新业务板块也取得了规模化突破。在金融、交通、能源、政府等多个领域， 帮助行业客户打造“数智”能力，用大数据和人工智能技术，协助他们获客、 活客、留客，改善服务质量，实现行业运营数字化转型。

亚信科技在垂直行业市场服务领域进一步拓展，行业大客户版图进一步 扩大，公司与云计算的各头部企业达成云MSP 合作，持续提升云集成、云 SaaS、云运营能力，并与他们一起，帮助邮政、能源、交通、金融、零售等数 十个大型行业客户上云、用云，降低信息化支出，提升数字化效率。

亚信科技同时积极强化、完善了技术创新与研发的体系和机制。在过去的 一年中，多项关键技术与产品获得了国际和国家级奖项，诸多技术组合形成了 国际与国家标准。5G+ABCDT 的灵动组合，重塑了包括亚信科技自身在内的 行业技术生态体系。“5G 与 AI 技术大系”丛书是亚信科技在过去几年中，以 匠心精神打造我国 5G 软件技术体系的创新成果与科研经验的总结。我们非常 高兴能将这些阶段性成果以丛书的形式与行业伙伴们分享与交流。

我国经历了从2G落后、3G追随、4G同步，到5G领先的历程。在这个过程中， 亚信科技从未缺席。在未来的 5G 时代，我们将继续坚持以技术创新为引领， 与业界合作伙伴们共同努力，为提升我国5G 科技和应用水平、为国家新基建 和全行业数字化转型贡献力量。

高念书

2020 年 9 月于北京

前言

随着5G 时代的到来，在“大带宽、超连接、低时延”网络特征下，移 动和信息技术的快速发展正在推动互联网从消费级向产业级演进，从而引发 了各行业在“4G 改变生活，5G 改变社会”愿景下通过应用创新重塑行业的 无限想象。面对百花齐放、层出不穷的各类应用场景，在5G 时代不仅要求 网络具有切片能力、面向业务需求软件定义，也带动了软件定义数据中心（包 括计算与存储）的发展，从而以分布式级联的网络云方式构成全网虚拟化数 据中心基础设施。

在万物互联的 5G 时代，企业将依照数据优先的思维方式，为物理世界的 人和物构建其在数字世界中的模型，并在分布式的网络云架构下部署模型。之 后物理世界的大数据会像血液一样在切片网络中从边缘汇聚到云端，并在流动 过程中根据业务需要分布驻留在不同层级的网络云平台之上。而 5G 带来的实 时性，使得运营商大数据的存储与计算能力逐步从中心网络向边缘移动，数据 能力需深度融入不同的网络切片的应用场景中，并强化物理世界与数字世界的 实时连接和优化，进一步加速在线分析与在线事务从边缘到云端的深度融合，最终提供面向场景的数据驱动型分布式智能在线应用。

本书从 5G 时代大数据技术生态的发展趋势、整体架构演进、典型应用场 景以及关键技术等几个方面，阐述如何加速个人、企业、物联网等终端数据从 边缘向云端全网全域实时处理与汇聚，通过数据功能虚拟化能力将数据价值以 更加实时的、云边分布的方式注入场景应用，并在数据流上以增强型分析能力 构建持续智能，提供实时智能化服务，为企业数字化转型提供数据驱动的原动 力。本书参考文献请扫描下面二维码查看：

本书由亚信科技大数据研发中心编写，编写组成员包括欧阳晔博士、赵 懿敏、宋亮、朱军、梅珂夫、王栋、吴宏伟、曹晓华、黄冬霞、赵菲、马绍 辉、吴琦等。

由于编者水平和精力所限，不足之处在所难免，若读者不吝告知，不胜感激。

编者

2020 年9月

第一篇? 5G 技术演进与总体架构体系

第1章 5G 时代的万物互联和大数据 2

1.1 5G 技术推动万物互联，重塑行业应用 3

1.1.1 5G 三大典型业务场景下的大数据需求形态 3

1.1.2 5G 网络架构对大数据的影响 7

1.2 5G 引发未来企业商业模式的变革 12

1.2.1 香农公式引发的商业模式变革 12

1.2.2 运营商面临现有商业模式的挑战 13

1.2.3 运营商未来商业模式的变革 14

1.3 5G 时代的大数据技术发展方向 16

1.3.1 多云架构基础设施 16

1.3.2 大数据云边协同计算 16

1.3.3 数据虚拟化部署环境 17

1.3.4 数字化实体建模方式 19

1.3.5 大数据实时处理能力 20

1.3.6 数据驱动型生产应用 20

第2章 5G 时代的企业大数据架构体系 23

2.1 企业数字化转型基础 23

2.1.1 企业数字化转型的现状 23

2.1.2 企业数字化转型的关键路径 25

2.2 数字化企业 IT 参考架构 26

2.2.1 技术中台 27

2.2.2 业务中台 28

2.2.3 数据中台 29

2.2.4 智能中台 30

2.3 5G 大数据部署架构 32

2.4 云边协同交互原语 32

第二篇? 云边协同技术详解

第3章 分布级联架构赋能边缘计算 36

3.1 边缘计算简介 36

3.2 云边协同的大数据计算架构 37

3.3 云边协同的资源管控技术 40

3.3.1 边缘计算开源技术介绍 42

3.3.2 边缘大数据技术应用场景 44

第4章 数据虚拟化网络集成 48

4.1 数据网络集成技术 48

4.2 数据功能虚拟化技术实现 50

4.3 数据访问虚拟化技术实现 53

4.4 数据虚拟化开源技术介绍 56

4.5 数据虚拟化应用场景 57

第5章 实时数据计算架构 58

5.1 实时计算基础架构 58

5.2 基于“Kafka+Flume”技术的实时计算框架 61

5.3 基于 Flink 技术的实时计算框架 67

5.4 5G 实时计算应用场景 72

第三篇? 大数据敏捷开发技术详解

第6章 敏捷智能数据开发 82

6.1 基于元数据的敏捷开发 83

6.2 云边协同 5G 大数据开发 84

6.3 云边协同开发技术实现 85

6.4 云边协同开发应用场景 86

第7章 数字化模型构建 89

7.1 分析型事务 90

7.2 实时数据模型 92

7.3 数字化模型 94

7.4 图数据模型 95

第8章 从云到端的大数据资产管理 98

8.1 非结构化数据治理 99

8.2 数据虚拟化访问服务 100

8.3 数据质量自感知与自愈能力 101

8.4 数据治理微服务组件 102

8.5 数据目录与元数据知识图谱 103

8.6 嵌入式数据安全保障机制 105

第四篇? 5G 大数据智能化分析技术详解

第9章 行业知识图谱以及 AI 技术在 5G 网络中的落地 108

9.1 行业知识图谱 108

9.1.1 行业知识图谱技术实现 108

9.1.2 知识图谱应用场景 109

9.2 AI 技术在 5G 网络中的落地 110

9.2.1 5G 边缘智能化技术简介 112

9.2.2 5G 边缘智能化技术实现架构 114

9.2.3 AI 技术与 5G 技术结合的应用场景 114

第10章 增强型数据分析 117

10.1 增强型数据分析概述 117

10.2 数据准备 120

10.3 数据分析 123

10.4 数据呈现 128

10.5 数据自动洞察 133

10.6 数据应用 / 分析反馈 135

第11 章 基于区块链的可信数据流通 139

11.1 数据已成为新型生产要素 139

11.2 现阶段数据流通存在的问题 141

11.3 数据流通如何实现“可信” 142

11.4 基于区块链技术的“可信”数据流通 143

11.5 基于联邦学习技术促进数据流通的隐私保护 145

11.5.1 联邦学习的定义 145

11.5.2 联邦学习的隐私保护机制 145

11.5.3 联邦学习的应用场景 146

第五篇? “5G+ 大数据”技术的应用与展望

第12章 5G 时代的大数据应用 148

12.1 人车路协同，未来交通更智慧 148

12.1.1 智慧交通之车联网场景 148

12.1.2 基于 5G 技术的数字化交通管理技术实现 150

12.2 泛在电力物联网，泛在感知与智能控制 151

12.2.1 智慧能源之智能电力场景 151

12.2.2 电力场站智慧分析与运维技术方案 152

12.3 让生活环境更智能和高效 153

12.3.1 智慧社区场景描述 153

12.3.2 智能化数据服务 154

12.4 监测—预警—防护—应急的智能安防 155

12.4.1 智能安防应用场景 155

12.4.2 基于数据智能的森林火灾防控 156

12.5 重构教育服务的组织方式 157

12.5.1 智慧教育应用场景 157

12.5.2 5G 大数据智慧教育技术方案 158

12.6 联网无人机让高空作业更智能 159

12.6.1 5G 网络下的无人机场景 159

12.6.2? 基于联网无人机的基站巡检方案 160

12.7 云 VR/AR 的实时图像渲染与建模 161

12.7.1 云 VR/AR 业务场景161

12.7.2? 基于边缘计算的 AR/VR 新体验 162

第13章 大数据助力运营商 5G 服务的发展 164

13.1 运营商未来 IT 架构：云网一体化 167

13.1.1 数据中台架构 168

13.1.2 数据中台核心特性 169

13.2 大数据助力 5G 网络建设 177

13.2.1 通过大数据实现 5G 智能无线网络规划 179

13.2.2 大数据分析支撑 5G 网络 Massive MIMO 配置优化 180

13.2.3 基于大数据优化 5G 移动边缘计算 182

13.2.4 5G 网络的从边到云的实时智能化 183

13.3 大数据助力企业精细化运营及服务 184

13.3.1 数字作战沙盘 184

13.3.2 携号转网 186

13.3.3 深度洞察客户，提升服务效能 188

13.4 运营商面向垂直行业提供“5G+ 数字化”服务 192

13.4.1 5G+ 数字生活 192

13.4.2 5G+ 智慧农业 193

13.4.3 5G+ 互联网工业 194

13.4.4 5G+ 智慧交通 194

13.4.5 5G+ 智慧城市 195

第14章 “5G+ 大数据”技术的生态与展望 196

14.1 “5G+ 大数据”技术的无限未来 196

14.1.1 算力融合：多样性算力提升整体效率 196

14.1.2 流批融合：平衡计算性价比的最优解 197

14.1.3 TA 融合：混合事务 / 分析支撑即时决策 197

14.1.4 能力融合：企业数据中台框架 198

14.1.5 数智融合：数据与智能多方位深度整合 198

14.2 融入产业共建 5G 生态 199