为何要在大数据中心实施元数据管理

在数据管理领域,咱们一直致力于让数据为咱们提供价值,为此咱们付出大量的努力和投入。
在过去二十年,各大企业都在着手搭建数据仓库。当咱们费尽艰辛搭建好数据仓库并成功用于线上运行时,发现咱们将花费更多时间为数据科学家、分析师作数据准备。分析他们的数据需求,提供闪闪发光的数据报表。这将占用数据维护人员 80% 的时间投入,这个投入是偏高的,包含如沟通、反查、校订等大量重复和没必要要投入。数据库

如何提高数据管理能力?
咱们须要回到这 80% 的投入,想尽一切办法压缩它们,这样才能更快的提供数据服务。这时有种工具呈现出了优点,那就是“元数据”。
元数据,一般的定义为“描述数据的数据”。更准确一点说:元数据是描述流程、信息和对象的数据。这些描述涉及技术属性特征(例如,结构和行为)、业务定义(包括字典和分类法)以及操做特征(如活动指标和使用历史)。
咱们用“元数据”去***这“80%”。将元数据作集中式管理,梳理元数据树,翻译、标注、补充元数据内容。方便使用者查找数据、理解数据、追踪溯源以及规范专业知识。下降数据准备期间沟通、反查、校订等大量重复和没必要要投入,这样咱们就能够留下更多的时间进行数据分析,不只节省大量资金投入,还赚取更多的利润。网络

以电信运营商为例,经过各个时期的 IT 建设,公司有计费系统、网络系统、OA 系统、财会系统和客服系统等等。随着公司数据仓库项目建设完成,各系统核心业务数据都汇总到了大数据中心。本觉得会大幅提高 IT 系统的“智能性”,没想到基层的反应是根本用不起来。不少问题都来源于:缺少针对数据的指导,业务逻辑把控不许确,各部门指标不统一,致使数据准备的成本较高。
继续以电信运营商为例,对于运营商的“当日用户数”这个指标,各个部门给出的定义并不同:ide

在营业部每周例会上,各个部门对“当日用户数”争吵的面红耳赤,担负着业务压力的业务人员极可能谁也说服不了对方来接受本身的数字,不得不要求数据维护人员额外投入工做量去解析差别根源,校准报表数据。
这个问题按照元数据技术的术语来说,就是在业务元数据上,你们对于业务的认识并不统一。这种问题会形成大量的时间成本浪费:工具

元数据管理平台的建设就是为了不出现这样的问题。建设元数据管理平台能够:
实现对技术元数据抽取、聚集、梳理,注释相关库表、列信息。支持查看完整数据链路和关联图谱。
梳理业务元数据,将相关的指标、流程在平台中创建起来,固化并传播企业专业知识。
将业务元数据同技术元数据联系起来,联通业务与技术,给业务管理人员和技术维护人员提供更详尽的指导。
就上文的举例来看,就能够在元数据管理平台上维护“当日用户数”等易混淆指标,规范其数据来源,将其同技术库表元数据关联起来并做详尽的注释。报表建设以元数据管理平台维护的业务知识为基准,这样报表数据有章可循、有理有据,消弭没必要要的争吵,各部门专心分析报表数据,充分利用数据价值。
显而易见,元数据管理平台梳理企业资产、规范专业知识。推进元数据管理能够显著下降数据准备成本:大数据

元数据管理是基础
元数据管理能够梳理企业资产,规范专业知识,下降数据准备期间沟通、反查、校订等大量重复和没必要要投入,辅助提高数据分析效率,是数据管理的基础。
若是你进行的数据处理越复杂,做为支撑的数据就须要更好。若是你同时兼顾了这两件事,才能让更多的人直接使用数据并为本身服务。不少时候咱们每每“本末倒置”,碰到问题仅仅关注要如何解决,而忽略基础的准备,不只增长复杂度和重复工做量,还会花费大量的沟通、理解的成本。翻译

元数据管理是基础
额外的,元数据管理做为底层基础,能使咱们在后续进行集成操做,如处理云;在混合环境中作数据集成;在重复环境中作大数据时,获取巨大的优点。事实上,将数据更快的交付给企业才是重点。
综上,为了更快的数据分析和支撑业务,IT 中心的能力相当重要,由于它就是“80%”投入的来源。那么什么使一个成功的IT中心变得更加卓越。
元数据管理
东软 SaCa MetadataManagement 元数据管理平台软件,致力于集中式元数据管理解决方案。普遍适配主流数据库、ETL 工具、BI 工具等。支持智能语义检索,提供数据剖析、全方位关联分析、度量可调的血缘/影响分析、元数据质量自动分析等功能。对象