使用Atlas进行元数据管理之Type(类型)

背景：笔者和团队的小伙伴近期在进行数据治理/元数据管理方向的探索, 在接下来的系列文章中, 会陆续与读者们进行分享在此过程当中踩过的坑和收获。

元数据管理系列文章：

[0] - 使用Atlas进行元数据管理之Atlas简介
[1] - 使用Atlas进行元数据管理之Glossary(术语)
[2] - 使用Atlas进行元数据管理之Type(类型)

1. 概述

Atlas容许用户为他们想要管理的元数据对象定义模型。该模型由称为type(类型)的定义组成。称为entities(实体)的type(类型)实例表示受管理的实际元数据对象。 Type System是一个容许用户定义和管理类型和实体的组件。开箱即用的Atlas管理的全部元数据对象（例如Hive表）都使用类型建模并表示为实体。要在Atlas中存储新类型的元数据，须要了解类型系统组件的概念。

2. Types(类型)

Atlas中的Type是对特定类型的元数据对象如何存储和访问的定义。Type表示定义元数据对象属性的一个或一组属性。具备开发基础的用户能了解到，类型就至关于面向对象编程语言的“Class”定义或关系数据库的“table schema”。

使用Atlas的类型的其中一个示例是Hive表。 Hive表定义了如下属性：

Name:         hive_table
TypeCategory: Entity
SuperTypes:   DataSet
Attributes:
    name:             string
    db:               hive_db
    owner:            string
    createTime:       date
    lastAccessTime:   date
    comment:          string
    retention:        int
    sd:               hive_storagedesc
    partitionKeys:    array<hive_column>
    aliases:          array<string>
    columns:          array<hive_column>
    parameters:       map<string,string>
    viewOriginalText: string
    viewExpandedText: string
    tableType:        string
    temporary:        boolean

从上面的例子中能够注意到如下几点：

• Atlas中的类型(Type)由name惟一标识

• Type具备元类型。Atlas中有如下元类型：
  • 原始元类型(Primitive metatypes)：boolean，byte，short，int，long，float，double，biginteger，bigdecimal，string，date
  • 枚举元型(Enum metatypes)
  • 集合元类型(Collection metatypes:)：array, map
  • 复合元类型(Composite metatypes)：Entity, Struct, Classification, Relationship
• 实体(Entity)和分类(Classification)类型能够从其余类型继承，称为“超类型/父类型”(supertype) ，它包括在超类型中定义的属性。这容许建模者在一组相关类型等中定义公共属性。相似于面向对象语言如何为类定义父类。 Atlas中的类型也能够从多个超类型扩展。
  • 在此示例中，每一个配置单元表都从称为DataSet的预约义超类型扩展。稍后将提供有关此预约义类型的更多详细信息。
• 具备元类型Entity，Struct，Classification或Relationship的类型能够具备属性的集合。每一个属性都有一个名称（例如: name）和一些其余相关属性。可使用表达式type_name.attribute_name引用属性。值得注意的是，属性自己是使用Atlas元类型定义的。
  • 在此示例中，hive_table.name是String，hive_table.aliases是一个字符串数组，hive_table.db是指一个名为hive_db的类型的实例，依此类推。

• 属性中的类型引用（如hive_table.db）特别有趣，使用这样的属性，咱们能够定义Atlas中定义的两种类型之间的任意关系，从而构建丰富的模型。此外，还能够将引用列表收集为属性类型（例如，hive_table.columns，表示从hive_table到hive_column类型的引用列表）

3. Entities(实体)

Atlas中的entity是type的特定值或实例，所以表示现实世界中的特定元数据对象。用咱们对面向对象编程语言的类比，实例(instance)是某个类(Class)的对象(Object)。

实体的其中一个示例就是Hive表。Hive在'default'数据库中有一个名为'customers'的表。该表是hive_table类型的Atlas中的“实体”。因为是实体类型的实例，它将具备做为Hive表'type'的一部分的每一个属性的值，例如：

guid:     "9ba387dd-fa76-429c-b791-ffc338d3c91f"
typeName: "hive_table"
status:   "ACTIVE"
values:
    name:             “customers”
    db:               { "guid": "b42c6cfc-c1e7-42fd-a9e6-890e0adf33bc", "typeName": "hive_db" }
    owner:            “admin”
    createTime:       1490761686029
    updateTime:       1516298102877
    comment:          null
    retention:        0
    sd:               { "guid": "ff58025f-6854-4195-9f75-3a3058dd8dcf", "typeName": "hive_storagedesc" }
    partitionKeys:    null
    aliases:          null
    columns:          [ { "guid": ""65e2204f-6a23-4130-934a-9679af6a211f", "typeName": "hive_column" }, { "guid": ""d726de70-faca-46fb-9c99-cf04f6b579a6", "typeName": "hive_column" }, ...]
    parameters:       { "transient_lastDdlTime": "1466403208"}
    viewOriginalText: null
    viewExpandedText: null
    tableType:        “MANAGED_TABLE”
    temporary:        false

从上面的例子中能够注意到如下几点：

• 实体类型的每一个实例都由惟一标识符GUID标识。此GUID由Atlas服务器在定义对象时生成，并在实体的整个生命周期内保持不变。在任什么时候间点，均可以使用其GUID访问此特定实体。
  • 在此示例中，默认数据库中的“customers”表由GUID“9ba387dd-fa76-429c-b791-ffc338d3c91f”惟一标识。
• 实体具备给定类型，而且类型的名称随实体定义一块儿提供。
  • 在此示例中，'customers'表是'hive_table'类型。
• 该实体的值是hive_table类型定义中定义的属性的全部属性名称及其值的映射。
  属性值将根据属性的数据类型。实体类型属性将具备AtlasObjectId类型的值

有了实体的这个设计，咱们如今能够看到Entity和Struct元类型之间的区别。实体(Entity)和结构(Entity)都构成其余类型的属性。可是，实体类型的实例具备标识(具备GUID值)，而且能够从其余实体引用（例如，从hive_table实体引用hive_db实体）。 Struct类型的实例没有本身的标识。 Struct类型的值是在实体自己内“嵌入”的属性集合。

3. Attributes(属性)

咱们已经看到，属性(attributes)是在实体(Entity)，结构(Struct)，分类(Classification)和关系(Relationship)等元类型中定义的。但咱们将属性列举为具备名称和元类型值。然而，Atlas中的attributes具备一些properties，这些properties定义了与类型系统相关的更多概念。

attributes具备如下properties：

name:        string,
    typeName:    string,
    isOptional:  boolean,
    isIndexable: boolean,
    isUnique:    boolean,
    cardinality: enum

上述属性具备如下含义：

• name: 属性的名称
• dataTypeName: 属性的元类型名称（native, collection, composite)）
• isComposite:
  • 该标志表示建模的一个方面。若是将属性定义为复合(composite)，则意味着它不能具备独立于其所包含的实体的生命周期。这个概念的一个很好的示例是构成hive表的一部分的列集。因为列在hive表外部没有意义，所以它们被定义为复合属性。
  • 必须在Atlas中建立复合属性及其包含的实体。即，必须与hive表一块儿建立配置单元列。
• isIndexable
  • 标志指示是否应该对此属性创建索引，以即可以使用属性值做为谓词来执行查找，而且能够有效地执行查找。
• isUnique
  • 一样与索引相关。若是指定为惟一，则表示在JanusGraph中为此属性建立了一个特殊索引，容许基于相等的查找。
  • 具备该标志的真值的任何属性都被视为主键，以将该实体与其余实体区分开。所以，应该注意确保此属性确实在现实世界中为惟一属性建模。
    • 对于例如考虑hive_table的name属性。在单独的状况下，名称不是hive_table的惟一属性，由于具备相同名称的表能够存在于多个数据库中。若是Atlas在多个集群中存储hive表的元数据，那么即便是一对（数据库名称，表名）也不是惟一的。在物理世界中，只有集群位置，数据库名称和表名称才能被视为惟一。
• multiplicity: 标示该属性是必选(required)，可选(optional)的仍是能够是多值的(multi-valued)。若是实体的属性值定义与类型定义中的多重性声明不匹配，则这将违反约束，而且实体添加将失败。所以，该字段可用于定义元数据信息的一些约束。

根据上面的内容，让咱们展开下面的hive表的一个attributes的属性定义。让咱们看一下名为'db'的属性，它表示hive表所属的数据库：

db:
    "name":        "db",
    "typeName":    "hive_db",
    "isOptional":  false,
    "isIndexable": true,
    "isUnique":    false,
    "cardinality": "SINGLE"

请注意“isOptional = true”约束 - 若是没有db引用，则没法建立表实体。

columns:
    "name":        "columns",
    "typeName":    "array<hive_column>",
    "isOptional":  optional,
    "isIndexable": true,
    “isUnique":    false,
    "constraints": [ { "type": "ownedRef" } ]

请注意列的“ownedRef”约束。经过这样，咱们指出定义的列实体应始终绑定到它们所定义的表实体。

经过此描述和示例，您将可以意识到属性定义可用于影响Atlas系统强制执行的特定建模行为（约束，索引等）。

4. 系统特定类型及含义

Atlas自带了一些预约义的系统类型。咱们在前面的部分中看到了一个示例（DataSet）。在本节中，咱们将看到更多这些类型并了解它们的重要性。

• Referenceable：该类型表示可使用名为qualifiedName的惟一属性搜索的全部实体。

• Asset：该类型扩展了Referenceable并添加了名称，描述和全部者等属性。 Name是必需属性（isOptional = false），其余属性是可选的。

Referenceable和Asset的目的是为建模者提供在定义和查询本身类型的实体时强制一致性的方法。拥有这些固定的属性集容许应用程序和用户界面基于约定作出关于默认状况下它们能够指望类型的属性的假设。

• Infrastructure：该类型继承自Asset，一般可用做基础结构元数据对象（如集群，主机等）的常见超类型。

• DataSet：该类型继承自Referenceable。从概念上讲，它能够用于表示存储数据的类型。在Atlas中，hive表，hbase_tables等都是从DataSet扩展的类型。扩展DataSet的类型能够预期具备Schema，由于它们具备定义该数据集的属性的属性。对于例如hive_table中的columns属性。此外，扩展DataSet的类型实体参与数据转换，Atlas能够经过血缘）图了解到转换过程。

• Process：该类型继承自Asset。从概念上讲，它能够用于表示任何数据转换操做。例如，将具备原始数据的配置单元表转换为存储某些聚合的另外一个配置单元表的ETL过程能够是扩展Process类型的特定类型。流程类型有两个特定属性，即输入和输出。输入和输出都是DataSet实体的数组。所以，Process类型的实例可使用这些输入和输出来捕获DataSet的血缘如何演变。