大数据治理——搭建大数据探索平台

在数据治理中，数据探索服务的价值在初期每每是被忽视的，可是随着业务的增长，分析人员的增长，数据探索服务的价值就会愈来愈大。

一个成功的数据管理平台，不只仅要提供各类数据分析的工具，提供各类各样的数据源，更要提供数据探索的能力。

为何数据探索服务很重要？

想象一下，做为一名数据科学家，他刚刚得到新的任务是创建一个机器学习模型对业务问题进行分析。处理数据的人的第一个本能是寻找任何有意义的信息，能对其分析过程提供帮助。在这个过程当中一般会出现如下问题：

1. 我能够/应该使用哪一种数据？
2. 在哪里能够找到数据？
3. 我应该问谁申请数据访问权限？
4. 我能够信任咱们拥有的数据吗？
5. 咱们拥有的数据的实时性和质量如何？
6. 还有谁在使用这些数据？

没有数据探索服务的世界

数据科学家最多将三分之一的时间用于数据探索。

若是没有数据探索服务，数据科学家须要和同事沟通，浏览他们能够访问的对象进行搜索。而后作出一些假设，来验证他们的选择是否正确。

这个过程其实很是的耗时，由于没有合适的工具帮忙。必需要不断的去寻找可靠的数据。可是随着数据量增大，数据平台使用者的增长，数据分析需求的增长，元数据的数量也在增长。这个过程就为寻找的过程带来了很是大的挑战。

数据科学家用来查找与他们的需求相关的数据的方式可能很快会拔苗助长，变得不可靠，从而致使不少挫败感，不肯定性和创造力降低。

解决这些问题的方案就是数据探索服务。

数据探索服务

数据探索服务意味着向用户提供一种工具，使其能够了解平台中的数据及其质量。让咱们来了解下具体的实现。

Amundsen

Lyft是一家总部位于美国的打车应用，其开源了大量的技术框架，其中就包括Amundsen。这是一个以伟大的挪威探险家的名字命名的数据探索服务，Lyft的数据探索服务旨在解决经过在元数据中搜索有价值的信息。它提供的是用户数据探索服务的搜索界面。

Amundsen的社区很是的繁荣，正在不断的更新改进。

Apache Atlas

做为元数据管理的领军，atlas无疑是最好的选择之一。

元数据听起来很容易解释，用于描述数据信息的数据。最简单的示例是数据存在表里，而表的相关的信息，如表名等信息就是元数据。没有元数据的支撑，数据探索服务不复存在。

Atlas做为大数据元数据管理平台，能够捕获平台上的各类组件的元数据信息。称为钩子，好比可从Kafka，Hive,Hbase中收集元数据。有着安全性和丰富的Rest Api。

Atlas依赖于Hbase和Solr做为分布式的数据存储，从而实现了元数据的存储和搜索功能。经过这种方式，能够创建一个全面的元数据目录。

​ Apache Atlas架构

在实际的应用中，经过二者的结合，能够彻底的知足咱们的需求。

这样数据科学家就能够在Amundsen中，寻找到目标数据了。

但搜索显然只是第一步，在找到搜索结果后，能够进入表详细信息页面。

能够查看诸如描述、更新时间、经常使用用户之类的信息。并且这些元数据信息都是实时更新的。

相信开源的力量，在Amundsen+Atlas的体系下，不断探索适合本身的实现方案。