普元云计算-企业如何按需选择元数据管理工具？

转载本文需注明出处：微信公众号EAWorld，违者必究。

 

 

在各类数字化的影响下，将企业环境中的各类元数据整合利用相当重要。对于企业来讲，选择适合本身的元数据管理工具将能最大化发挥元数据的做用，以协助企业完成在数据方面的战略目标。

 

企业中不一样角色对元数据工具的指望可能有所不一样，但这些指望基本均可以映射到元数据管理工具的十大能力上，固然这些能力背后少不了关键技术的支撑。

 

本文分为三部分，在第一部分，咱们会先根据企业中的不一样角色，列出不一样角色对元数据管理的指望；而后在第二部分，总结在理想状况下元数据管理工具须要具有的十大能力，并将这些能力与不一样的角色作关联，以便不一样企业能够根据自身状况选择合适的元数据管理工具；最后在第三部分，将给出几种现阶段实现元数据管理的关键技术。

 

目录：

 

1、不一样角色对元数据管理的指望不一样

2、如何选择适合本身的元数据工具？

3、元数据管理的关键技术？

4、总结

 

1、不一样角色对元数据管理的

指望不一样

 

为了站在不一样角色的角度回答这个问题，咱们先把企业中与元数据管理项目相关的几种角色列一列，这里暂且将这些角色分为企业高管、数据开发人员、数据分析人员、数据管理人员、运维人员、其余业务用户几种。

 

 

 

图 1：与元数据管理相关的角色

 

 

企业高管：在数据愈来愈重要的形势下，高管们比较关心的是企业的整个数据全貌以及数据在全企业中的使用情况（或者能够说是更注重数据资产与应用层面），可是没有一我的能直接告诉领导企业中的数据是什么样，具体的使用流通状况是什么，有效的元数据管理能很好地回答企业高管的这些问题。

 

数据开发人员：对于数据开发来讲，最多见的问题就是大量的重复工做：明明已经有了如出一辙的接口或者脚本，可是由于是别人写的，没有统一标识并管理起来，因此根本就找不到，即便找到了可能也会由于缺乏相关的解释说明，根本没法重复利用，下降数据开发效率的同时也形成了大量的冗余。元数据管理能方便数据开发人员查找想重复利用的信息，而解释说明刚好能够经过业务元数据管理来实现。

 

数据分析人员：数据分析人员一般须要经过较高级的数据统计分析实现公司与战略决策、业务或考核相关的目标。对于他们来讲，错综复杂的数据关系、良莠不齐的数据质量和业务元数据的缺失是主要问题。元数据管理下降了这些信息的获取门槛，也为数据质量的问题追溯提供了支持。

 

数据管理人员：数据管理人员一般须要负责数据从设计、测试到部署交付的全生命周期管理。对于他们来讲，一般须要管理各类版本的数据信息，并管理企业数据的生命周期，如何控制各状态下数据的协调一致和及时判断数据处于什么周期须要作什么操做是目前急需解决的问题。这能够经过管理企业元数据来实现。

 

运维人员：对于运维人员来讲，须要时刻保证系统的稳定性，尤为是当企业模型发生变动时，要不断判断变动带来的影响，显然人工判断的方式在准确性和实时性上都很难保证，并且对运维人员的业务能力要求较高，很大程度上增长了系统风险。经过元数据管理，当系统变动时，能够根据已经获取到的系统、表等对象间关系自动分析出变动带来的影响，用自动化的方式下降维护成本，提高用户体验。

 

其余业务人员：因为业务人员对业务规则、业务流程比较熟悉，一般不须要对技术细节有很深刻的了解，技术门槛每每致使业务人员获取和理解数据难，由于不了解数据存储状况，也很难技术沟通业务需求，每每最终难到手的数据也不是本身想要的，难以匹配业务的快速发展。

 

 

2、如何选择适合本身的

元数据工具？

 

经过以上能够看出，不一样用户对元数据管理工具寄予着不一样的指望（见图2）

 

 

图 2 ：不一样用户对元数据管理工具寄予着不一样的指望

 

 

企业开展元数据管理项目可能须要解决的是其中一类用户或者其中几类用户的问题，咱们先列出一些元数据管理工具的基本能力，而后再将这些能力与上文中的指望对应起来，企业能够经过参考两者之间的对应关系，来指向性地选择适合本身的元数据管理工具。

 

经过大量元数据项目的实践，我总结出了在理想状况下，元数据管理工具须要具有的十种能力，以下：

 

 

 

图 3：元数据管理工具的十种能力

 

• 元数据采集能力

从错综复杂的企业环境中自动实时解析和采集各类元数据的能力，为应对各类数据环境，这个环节一般须要使用各类技术和语法来支持大数据平台、关系型数据库、第三方工具、存储过程、脚本、文本文件、表格文件的自动化采集。

 

• 元数据存储能力

将采集过来的元数据进行统一存储的能力，为支持各类元数据以及元数据之间关系的存储，元数据存储须要灵活可扩展的架构支撑，另外，可以实时更新存储也是很重要的一点。

 

• 元数据查找能力

提供统一的端口对元数据进行查找的能力，完善的元数据管理工具应该能支持按照企业的各类分类方法来对元数据进行查找（有一部分分类方式蕴含在元数据自己中，须要经过对元数据进行分析以后得到）。好比你可能会按照系统、表、指标、接口等不一样维度查找信息，甚至会根据本身的查找习惯新建一个彻底不一样的类别。

 

• 血缘分析/关系分析能力 

分析数据的来源和数据的流向，揭示数据的上下游关系，在元数据管理工具中分析、描述并可视化其中的细节，方便用户对关键信息进行跟踪。完善的血缘分析须要是横向（当前）和纵向（历史）双向可用的，以方便对同一时期不一样对象的分析和不一样时期同一对象的变化。

 

• 基于角色的访问控制和分层

元数据的增删改等权限的控制是元数据管理工具中须要特别注意的地方，工具中应该支持访问权限的控制。好比，数据管理员具备全部权限，开发人员可能更关注开发环境、测试环境元数据，而企业管理者可能只关注生产环境的元数据状况，总经理级别的用户能够访问企业多种环境下的元数据，而部门负责人可能只关注与本部门相关的元数据。

 

• 业务元数据管理能力

采集企业环境中的业务元数据，并完成业务元数据与技术元数据的映射，为元数据赋予业务属性，这也是发挥元数据管理工具业务价值的一个关键。

 

图 4：技术元数据与业务元数据的对应

 

• 元数据变动控制能力

当元数据须要变动时，提供变动审核能力，明确元数据版本，保存元数据的历史状态，在发生任何问题时能够自动恢复到以前的版本。在某个元数据项发生变动时，可能还须要对该次变动将要产生的影响进行分析和评估。

 

• 元数据对比分析能力

对不一样环境中的元数据进行对比分析，分析其中的异同，必要时还能根据分析结果产出相应的分析报告。

 

• 数据生命周期管理能力

在理想状态下，元数据管理工具应该保留数据从建立、存储，到过期被删除/备份等各类状态下的元数据，从而管理数据在整个生命周期中的流动。做为一项规则，较新的数据和那些极可能被更加频繁访问的数据，应该存储在容易被访问的位置，而那些不是很重要的数据则能够备份存储在比较便宜的，稍微慢些的媒介上。

 

图 5：数据生命周期

 

• 与其余系统的集成能力

要想让元数据管理系统发挥业务价值，还有很是重要的一点就是元数据管理工具与其余系统的集成能力。

 

这些能力与刚开始提出的几种需求之间的对应关系整理以下（鉴于元数据采集与元数据存储是几乎每种需求都须要的基本能力，因此我把这两项单独拿出来不参与对应），企业可根据对应关系来选择元数据管理工具：

 

图 6：角色与十大能力的对应关系

 

3、元数据管理的关键技术？

 

通常来讲，元数据管理项目须要用到众多技术，在这里讲四种：高度灵活可扩展的架构、角色访问控制和分层、业务元数据与技术元数据对应、与其余系统的集成。

 

图 7：元数据管理的关键技术

 

• 高度灵活可扩展的架构

 

企业数据环境中的数据杂乱，形态多样，标准不一，若要实现全部元数据的有效采集或者自动化采集和存储，必须有高度灵活可扩展的架构支撑，也意味着元数据的架构要能和企业的各类模型进行“交流”，这在以前王轩的文章《大数据治理技术核心，可扩展的元数据架构设计》中说起到了具体方法，在这里再也不多说。

 

• 角色访问控制和分层

 

如上文所述，企业元数据管理涉及到不少不一样的人员，优秀的元数据管理工具应该作好角色访问控制，具体实现方法能够归结为两种：

 

一、在平台汇总创建角色分层机制/角色组，将企业中的不一样角色按照具体需求分类到不一样的角色组中，对不一样角色组展现不一样的功能。

 

二、在工具内部创建角色与功能之间的映射，而且支持根据企业状况进行灵活配置（毕竟各企业的角色和所对应的功能不尽相同），根据映射对不一样角色展现不一样的功能。

 

• 业务元数据与技术元数据的对应

这是企业从数据管理向知识管理转变的关键，关于业务元数据与技术元数据的对应，能够参考咱们以前写过的文章。另外我认为除了领域本体构建，编织模型（Weaving Model，V. Stefanov提出）将来也可能会成为对应两者之间关系的一种技术，这种方式经过编织模型来存储和管理企业不一样模型之间的关系，例如，经过创建星型模型/雪花型模型与业务流程模型、企业组织架构等之间的关系，能够自动获取到数据所对应的业务信息和管理者信息等。 

 

• 与其余系统的集成

随着各类数据政策的出台，元数据成为企业各类流程中不可或缺的重要部分，人们对元数据驱动的呼声愈来愈高，而要实现元数据驱动，除了元数据分类和模型的标准化，元数据管理工具是否与企业的其余系统（好比，CRM、ERP、SCM、OA等系统，还有同与数据管理相关的数据标准系统、数据质量系统）集成，为其余系统提供元数据服务，是主要的关键点。一种方法是向企业中的不一样角色、不一样用户、不一样系统提供能够灵活配置的接口，实现全企业的而高效协做；另外一种方法是将元数据管理工具直接集成到企业的portal中，在企业其余信息系统中保留元数据存储库的入口。

 

图 8：元数据管理的需求-能力-技术模型

 

不一样的企业对元数据管理有不一样的需求，企业要选择最适合自身状况的元数据管理工具。本文给出了基于角色的元数据管理需求，以及这些需求与元数据管理十大能力之间的映射关系，这种映射关系能够帮助企业选择具备特定能力的元数据管理工具，在最后，对几种支撑这些能力关键技术作出了解释。

 

参考文献：

 

1.王轩. 大数据治理技术核心，可扩展的元数据架构设计[EB/OL]. http://www.cbdio.com/BigData/2016-07/12/content_5076844.htm.

2.V Stefanov. Explaining Data Warehouse Data to Business Users.[EB/OL]. http://aisel.aisnet.org/cgi/viewcontent.cgi?article=1070&context=ecis2007.

3.KM, Hüner. Collaborative management of business metadata[EB/OL]. https://www.sciencedirect.com/science/article/pii/S0268401210001817.

 

关于做者：龚菲，现任普元数据治理团队产品工程师，3年数据治理经验，负责国内外数据治理趋势研究、普元数据治理产品研究与推广，掌握国内外数据治理产品的发展趋势，编写了一系列数据治理文章。前后参与了华夏人寿、海通证券、东方航空等数据项目，尤为是对元数据相关理论与业界产品有深刻了解，擅长业务元数据管理、本体构建等元数据相关领域知识。

 

关于EAWorld：微服务，DevOps，数据治理，移动架构原创技术分享，长按二维码关注