构建数据湖仓

在数据湖仓的所有新增要素中，排名第一的就是可以利于数据分析和机器学习所用的分析基础设施。分析基础设施包括一众大家广为熟悉的东西，当然也包括一些可能对大家还有些陌生或略带新鲜感的概念。比如包括：元数据、数据血缘、 数据体量的度量 、数据创建的历史记录、数据转换描述。

数据湖仓的第二个新增要素，是识别和使用通用连接器。通用连接器允许合并和比较所有不同来源的数据。如果没有通用连接器，就很难（实际上是几乎不可能）将数据湖仓中的不同数据关联起来。但有了这个中西，就可以关联任何类型的数据。

使用数据湖仓，就有可能实现以往任何其它方式都不可行或不可能实现的某种程度的数据分析和机器学习。 但与其它架构一样，我们需要理解数据湖仓的架构以及它的能力，以便于我们基于这种架构创建数据分析蓝图和开展数据分析规划。

胡博，国际数据管理协会（DAMA）中国理事，国家重点研发计划课题负责人。发表过学术论文20余篇，在云平台、数据中台等方面授权国家发明专利12项；是中国计算机学会高级会员、中国计算机协会服务计算专委会执行委员、SCI期刊IJWSR 执行主编、华中农业大学、深圳大学、武汉科技大学和海南师范大学硕士生导师。

前言

与过去相对简单的应用程序不同，当今的应用形态丰富多样，各种类型的数据、技术、硬件和小工具等充斥着这个世界。数据以不同的形式从四方涌来，甚至体量多得有些令人无法招架。

数据是用来分析的。对于企业等组织，可分析的数据有三种类型。首先是经典的结构化数据，这种类型的数据出现最早，存在时间最长，是由业务开展所产生的。其次是文本数据，这些数据可能来自电子邮件、呼叫中心的通话记录，也可能来自商业合同、医疗记录或其他文本数据。对于计算机而言，文本数据一度是个“黑匣子”，因为它只能被计算机存储而不便于分析，但如今文本的提取、转换和加载（ETL）技术为处理文本数据进行标准化分析大开方便之门。最后是模拟数据和物联网数据，各种类型的机器，例如无人机、电子眼、温度计和电子手表等都能产生这样的数据。模拟数据和物联网数据的形式比结构化数据或文本数据要粗糙得多，并且有大量数据是自动生成的，这类数据多属于数据科学家研究的范畴。

起初，我们把上述这些数据都扔进了一个叫作“数据湖”的坑洞里。但我们很快发现，仅仅把数据丢进去似乎毫无意义。因为如果要想让数据能够发挥作用，它就需要被分析，而分析数据则需要：

（1）将数据与其他数据相互关联；

（2）需要数据湖自身拥有分析基础设施并向终端用户提供服务。

除非我们满足这两个条件，否则数据湖就很容易变成“数据沼泽”，而这个沼泽在一段时间后便会开始变味发臭。

总而言之，不满足分析标准的数据湖只会浪费时间和金钱。

而数据湖仓正是针对上述需求和当前不足而诞生的。它在数据湖的基础上增加了一些要素，能够让数据变得有用且富有成效。换个方式来说，如果现在你还在构建一个数据湖，而没有将其升级转变为数据湖仓的话，那你构建的仅仅是一个昂贵且碍眼的东西，随着时间的推移，它只会变成沉重的负担。

在数据湖仓的所有新增要素中，第一个是用于数据分析和机器学习的分析基础设施（analytical infrastructure）。分析基础设施包括一些广为大家所熟悉的东西，当然也包括一些可能大家还有些陌生的概念。比如：

● 元数据；

● 数据血缘；

● 数据体量的度量；

● 数据创建的历史记录；

● 数据转换描述。

数据湖仓的第二个新增要素是识别和使用通用连接器。通用连接器允许合并和比较所有不同来源的数据。如果没有通用连接器，就很难（实际上是几乎不可能）将数据湖仓中的不同数据关联起来。但有了这个东西，就可以关联任何类型的数据。

使用数据湖仓，就有可能实现任何其他方式都不可行或不可能实现的某种程度的数据分析和机器学习。但与其他架构一样，我们需要理解数据湖仓的架构及其能力，以便于我们基于这种架构创建数据分析蓝图和开展数据分析规划。