数据虚拟化 多源异构数据集成之道

本书介绍了在当前大数据、人工智能的背景下，使用数据虚拟化技术实现多源异构数据集成的方法。本书共 9 章，首先，分析了当前多源异构数据分析面临的问题以及传统方法的局限。其次，介绍了数据虚拟化的相关概念、数据虚拟化体系架构、关键技术，以及利用数据虚拟化服务器构建虚拟化层的方法及原则。最后，通过案例介绍了如何使用数据虚拟化实现海量多源异构数据的管理，并对数据虚拟化进行了未来展望。本书适合高校、科研院所的相关人士阅读。

刘媛妮，博士，重庆邮电大学副教授，2011年7月在北京邮电大学网络技术研究院获得计算机科学与技术专业博士学位。主要研究方向为网络安全、数据虚拟化、区块链。工作期间主持国家自然科学基金项目、重庆市教委项目各一项，参与重庆市自然科学基金重点项目以及国家自然科学基金项目多项，发表SCI/EI检索论文20余篇，申请专利10余项，软件著作权5项。
赵国锋，教授，博士生导师，重庆邮电大学未来网络研究中心主任。主要研究方向为互联网技术、网络测试与测量。承担及主持***、省部级科研项目20余项，发表论文100余篇，申请专利6项。
李昕，博士，副教授，2007年起至今任教于北京邮电大学网络技术研究院网络与交换技术国家重点实验室，目前担任北京邮电大学教育部重点实验室副主任、中国互联网协会特聘青年专家。主要研究方向为软件定义网络、软件定义广域网、天地一体内容分发网络。
李杨，北京理工大学计算机应用专业博士，助理研究员，美国北卡罗来纳大学访问学者。主要研究领域为容迟网络、无线自组织网络、物联网、大数据等。参与国家“863”计划项目、“973”计划项目、自然科学基金项目等9项，参与国家“十三五”规划与智慧城市建设顶层设计工作，在国内外刊物上发表论文10余篇，申请国家技术发明专利4项。
程新洲，教授级高级工程师，中国联通网络技术研究院大数据研发中心总监，下一代互联网宽带业务应用国家工程实验室大数据开放实验室主任，中国联通集团专家级战略人才，北京邮电大学兼职教授，研究生导师，IEEE ISCIT、ICSINC等国际会议技术委员会主席。主要从事大数据研究及应用相关工作，先后获各级创新奖、科学技术奖等20余项。在国内外期刊或会议上发表论文80余篇，申请专利30余项。
李明欣，工学博士，教授级高级工程师，系统分析师，现担任重庆联通网络管理与维护中心总经理。主要研究方向为大数据、物联网和移动通信等。先后获得技术领域奖项20余项，国内外发表论文20余篇，申请国内外发明专利20余项，其中4项获得国际专利授权，5项获得中国专利授权。

1.本书介绍了大数据时代下多源异构数据集成的一项新技术：数据虚拟化。
2.本书作者长期从事大数据分析及应用，移动群智感知网络等方面的研究。
3.目前市场上数据虚拟化的书籍相对较少，然而该技术又是数据集成环节必不可少的一项新技术。因此，本书的内容对于广大教师以及从事数据处理的广大科研工作者以及研究生具有重要的参考价值。

目 录
第　1 章 概述　1
1．1　背景　1
1．1．1　大数据时代下的数据增长　1
1．1．2　上层应用对数据服务的需求　4
1．2　DaaS　8
1．2．1　DaaS 的历史　8
1．2．2　DaaS 的定义　10
1．2．3　服务　11
1．2．4　服务的分类　13
1．2．5　数据服务　14
1．2．6　数据服务及其架构　16
1．2．7　数据服务的关键技术　18
1．2．8　DaaS 的特点　19
1．3　DaaS 面临的问题　19
参考文献　21
第　2 章 多源异构数据处理关键技术　22
2．1　多源异构数据的产生与收集　22
2．1．1　多源异构数据的产生　22
2．1．2　多源异构数据的收集　24
2．2　多源异构数据的存储　46
2．2．1　多源异构数据的类型　46
2．2．2　多源异构数据存储的关键技术　47
2．3　数据仓库　72
2．3．1　数据仓库的定义及特点　73
1
数据虚拟化：多源异构数据集成之道
2．3．2　数据仓库的体系结构　74
2．4　多源异构数据的组织管理　77
2．5　多源异构数据的分析　87
2．5．1　分类算法　88
2．5．2　回归算法　94
2．5．3　聚类算法　98
2．5．4　关联规则算法　99
2．5．5　神经网络算法　102
2．6　数据分析平台　113
2．6．1　Hadoop　114
2．6．2　Spark　116
2．6．3　Storm　117
2．6．4　机器学习框架　120
参考文献　122
第　3 章 数据虚拟化　124
3．1　背景　124
3．2　数据虚拟化概述　126
3．2．1　数据虚拟化的定义　128
3．2．2　数据虚拟化及其相关概念　129
3．3　数据虚拟化的技术优点　133
3．4　数据虚拟化的不同实现方式　137
3．5　数据虚拟化的应用　138
参考文献　144
第　4 章 数据虚拟化系统架构　146
4．1　数据虚拟化系统架构概述　146
4．2　数据虚拟化系统详细模型　149
4．2．1　应用层　150
4．2．2　数据虚拟化层　150
4．2．3　源数据层　151
4．3　数据虚拟化研究的问题　152
参考文献　156
2
目　录
第　5 章 数据虚拟化平面　159
5．1　数据映射层　159
5．1．1　源表格、虚拟表格、映射、封装的定义　159
5．1．2　虚拟表格和映射的例子　165
5．2　元数据组织层　174
5．2．1　元数据的基本概念　174
5．2．2　元数据的组织方法　178
5．3　数据服务层　188
5．3．1　虚拟表格的发布　188
5．3．2　虚拟表格和数据建模　193
5．3．3　数据安全：认证和授权　215
5．4　查询响应层　217
5．4．1　缓存技术　217
5．4．2　查询优化　224
参考文献　235
第　6 章 数据虚拟化的管理平面　237
6．1　源表格、封装表格、虚拟表格的同步　237
6．2　元数据组织层的管理　238
6．3　虚拟表格或数据服务组合、更新过程的维护　240
6．4　查询响应层的监控、处理和管理　242
参考文献　245
第　7 章 数据虚拟化系统的设计　247
7．1　对现有系统部署数据虚拟化　247
7．1．1　部署数据虚拟化的步骤　247
7．1．2　医疗数据仓库引入数据虚拟化　249
7．2　设计和开发新的数据虚拟化系统　251
参考文献　265
第　8 章 数据虚拟化的应用案例　266
8．1　背景介绍　266
8．1．1　FITS　267
8．1．2　流式数据处理平台　268
8．1．3　图形数据库　269
3
数据虚拟化：多源异构数据集成之道
8．1．4　图划分技术　270
8．2　天文元数据实时归档系统设计　272
8．2．1　元数据采集模块　273
8．2．2　元数据处理模块　275
8．2．3　元数据存储模块　284
8．3　系统功能测试　286
8．3．1　实验环境　286
8．3．2　功能测试　288
参考文献　290
第　9 章 数据虚拟化的未来　292
9．1　数据虚拟化的未来--Rick F．van der Lans 的理解　293
9．1．1　新的以及增强的查询优化技术　293
9．1．2　探索新的硬件技术　294
9．1．3　不断扩展的设计模型　295
9．1．4　数据质量的特性　297
9．1．5　对数据访问下推模型的支持　299
9．1．6　数据虚拟化、ETL 以及复制之间的协作　300
9．2　数据虚拟化的未来--全局数据网络　301
9．2．1　被授权的消费者从无处不在的数据访问获益　301
9．2．2　IT 的后台管理系统变为云　302
9．2．3　数据虚拟化的未来是一个全局数据网络　302
9．2．4　小结　303
9．3　数据虚拟化的未来--多种数据处理方法的结合　303
9．4　数据虚拟化的未来--在虚拟化的世界中占据一席之地　305
9．4．1　使用数据虚拟化最大化数据的回报　306
9．4．2　透过表象看问题　307
参考文献　308
中英文对照表　309
名词索引　313