数据治理的王者——Apache Atlas

1、Atlas是什么？

在当今大数据的应用愈来愈普遍的状况下，数据治理一直是企业面临的巨大问题。

大部分公司只是单纯的对数据进行了处理，而数据的血缘，分类等等却很难实现，市场上也急须要一个专一于数据治理的技术框架，这时Atlas应运而生。

Atlas官网地址：https://atlas.apache.org/

Atlas是Hadoop的数据治理和元数据框架。

Atlas是一组可扩展和可扩展的核心基础治理服务，使企业可以有效，高效地知足Hadoop中的合规性要求，并容许与整个企业数据生态系统集成。

Apache Atlas为组织提供了开放的元数据管理和治理功能，以创建其数据资产的目录，对这些资产进行分类和治理，并为数据科学家，分析师和数据治理团队提供围绕这些数据资产的协做功能。

• Atlas支持各类Hadoop和非Hadoop元数据类型

• 提供了丰富的REST API进行集成

• 对数据血缘的追溯达到了字段级别，这种技术尚未其实相似框架能够实现

• 对权限也有很好的控制

  ​

2、架构原理

Atlas包括如下组件：

• 采用Hbase存储元数据
• 采用Solr实现索引
• Ingest/Export 采集导出组件 Type System类型系统 Graph Engine图形引擎 共同构成Atlas的核心机制
• 全部功能经过API向用户提供，也能够经过Kafka消息系统进行集成
• Atlas支持各类源获取元数据：Hive，Sqoop，Storm。。。
• 还有优秀的UI支持

3、效果图

更多大数据，Atlas，ES，Kafka等技术博文，欢迎关注实时流式计算：

本文由博客一文多发平台 OpenWrite 发布！