阿里巴巴大数据实践:OneData模型实施介绍

如何从具体的需求或项目转换为可实施的解决方案,如何进行需求分析、架构设计、详细模型设计等,则是模型实施过程当中讨论的内容。本节先简单介绍业界经常使用的模型实施过程,而后重点讲解阿里巴巴OneData模型设计理论及实施过程。数据库

1.业界经常使用的模型实施过程

**Kimball模型实施过程
**
Kimball维度建模主要探讨需求分析、高层模型、详细模型和模型审查整个过程。架构

构建维度模型通常要经历三个阶段:第一个阶段是高层设计时期,定义业务过程维度模型的范围,提供每种星形模式的技术和功能描述;第二个阶段是详细模型设计时期,对每一个星形模型添加属性和度量信息;第三个阶段是进行模型的审查、再设计和验证等工做,第四个阶段是产生详细设计文档,提交ETL设计和开发。运维

高层模型:高层模型设计阶段的直接产出目标是建立高层维度模型图,它是对业务过程当中的维表和事实表的图形描述。肯定维表建立初始属性列表,为每一个事实表建立提议度量。工具

详细模型:详细的维度建模过程是为高层模型填补缺失的信息,解决设计问题,并不断测试模型可否知足业务需求,确保模型的完备性。肯定每一个维表的属性和每一个事实表的度量,并肯定信息来源的位置、定义,肯定属性和度量如何填入模型的初步业务规则。性能

模型审查、再设计和验证:本阶段主要召集相关人员进行模型的审查和验证,根据审查结果对详细维度进行再设计。测试

提交ETL设计和开发:最后,完成模型详细设计文档,提交ETL开发人员,进入ETL设计和开发阶段,由ETL人员完成物理模型的设计和开发。大数据

上述内容主要引用自Ralph Kimball等的The Data Warehouse Lifecycle Toolkit,具体细节请参考原著做。ui

Inmon模型实施过程阿里云

Inmon对数据模型的定位是:扮演着通往数据仓库其余部分的智能路线图的角色。因为数据仓库的建设不是一蹴而就的,为了协调不一样人员的工做以及适应不一样类型的用户,很是有必要创建一个路线图——数据模型,描述数据仓库各部分是如何结合在一块儿的。架构设计

Inmon将模型划分为三个层次,分别是ERD(Entity Relationship Diagram,实体关系图)层、DIS(Data Item Set,数据项集)层和物理层(Physical Model,物理模型)。

ERD层是数据模型的最高层,该层描述了公司业务中的实体或主题域以及它们之间的关系;DIS层是中间层,该层描述了数据模型中的关键字、属性以及细节数据之间的关系;物理层是数据建模的最底层,该层描述了数据模型的物理特性。

Inmon对于构建数据仓库模型建议采用螺旋式开发方法,采用迭代方式完成屡次需求。但须要采用统一的ERD模型,才可以将每次迭代的结果整合在一块儿。ERD模型是高度抽象的数据模型,描述了企业完整的数据。而每次迭代则是完成ERD模型的子集,经过DIS和物理数据模型实现。

上述内容主要引用自Inmon的Building the Data Warehouse,具体细节请参考原著做。

其余模型实施过程

在实践中常常会用到以下数据仓库模型层次的划分,和Kimball、Inmon的模型实施理论有必定的相通性,但不涉及具体的模型表达。

业务建模,生成业务模型,主要解决业务层面的分解和程序化。

领域建模,生成领域模型,主要是对业务模型进行抽象处理,生成领域概念模型。

逻辑建模,生成逻辑模型,主要是将领域模型的概念实体以及实体之间的关系进行数据库层次的逻辑化。

物理建模,生成物理模型,主要解决逻辑模型针对不一样关系数据库的物理化以及性能等一些具体的技术问题。

2.OneData实施过程

本节重点讲解怎么使用OneData这套体系和相配套的工具实施大数据系统的模型建设,在讲解中会以阿里巴巴的具体业务进行说明。

指导方针

首先,在建设大数据数据仓库时,要进行充分的业务调研和需求分析。这是数据仓库建设的基石,业务调研和需求分析作得是否充分直接决定了数据仓库建设是否成功。其次,进行数据整体架构设计,主要是根据数据域对数据进行划分;按照维度建模理论,构建总线矩阵、抽象出业务过程和维度。再次,对报表需求进行抽象整理出相关指标体系,使用OneData工具完成指标规范定义和模型设计。最后,就是代码研发和运维。本文将会重点讲解物理模型设计以前(含)步骤的内容。

实施工做流

数据调研——业务调研:整个阿里集团涉及的业务涵盖电商、数字娱乐、导航(高德)、移动互联网服务等领域。各个领域又涵盖多个业务线,如电商领域就涵盖了C类(淘宝、天猫、天猫国际)与B类(阿里巴巴中文站、国际站、速卖通)业务。数据仓库是要涵盖全部业务领域,仍是各个业务领域独自建设,业务领域内的业务线也一样面临着这个问题。因此要构建大数据数据仓库,就须要了解各个业务领域、业务线的业务有什么共同点和不一样点,以及各个业务线能够细分为哪几个业务模块,每一个业务模块具体的业务流程又是怎样的。业务调研是否充分,将会直接决定数据仓库建设是否成功。

在阿里巴巴,通常各个业务领域独自建设数据仓库,业务领域内的业务线因为业务类似、业务相关性较大,进行统一集中建设。

数据调研——需求调研:能够想象一下,在没有考虑分析师、业务运营人员的数据需求的状况下,根据业务调研建设的数据仓库无疑等于闭门造车。了解了业务系统的业务后并不表明就能够进行实施了,此刻要作的就是收集数据使用者的需求,能够去找分析师、业务运营人员了解他们有什么数据诉求,此时更多的就是报表需求。

需求调研的途径有两种:一是根据与分析师、业务运营人员的沟通(邮件、IM)获知需求;二是对报表系统中现有的报表进行研究分析。经过需求调研分析后,就清楚数据要作成什么样的。不少时候,都是由具体的数据需求驱动数据仓库团队去了解业务系统的业务数据,这二者并无严格的前后顺序。

举例:分析师须要了解大淘宝(淘宝、天猫、天猫国际)一级类目的成交金额。当获知这个需求后,咱们要分析根据什么(维度)汇总,以及汇总什么(度量),这里类目是维度,金额是度量;明细数据和汇总数据应该怎样设计?这是一个公用的报表吗?是须要沉淀到汇总表里面,仍是在报表工具中进行汇总?
架构设计——数据域划分:数据域是指面向业务分析,将业务过程或者维度进行抽象的集合。业务过程能够归纳为一个个不可拆分的行为事件,以下单、支付、退款。为保障整个体系的生命力,数据域须要抽象提炼,而且长期维护和更新,但不轻易变更。在划分数据域时,既能涵盖当前全部的业务需求,又能在新业务进入时无影响地被包含进已有的数据域中或者扩展新的数据域。

架构设计——构建总线矩阵:在进行充分的业务调研和需求调研后,就要构建总线矩阵了。须要作两件事情:明确每一个数据域下有哪些业务过程;业务过程与哪些维度相关,并定义每一个数据域下的业务过程和维度。

规范定义:规范定义主要定义指标体系,包括原子指标、修饰词、时间周期和派生指标。

模型设计:模型设计主要包括维度及属性的规范定义,维表、明细事实表和汇总事实表的模型设计。相关实践详解请参考后续章节。

总结:OneData的实施过程是一个高度迭代和动态的过程,通常采用螺旋式实施方法。在整体架构设计完成以后,开始根据数据域进行迭代式模型设计和评审。在架构设计、规范定义和模型设计等模型实施过程当中,都会引入评审机制,以确保模型实施过程的正确性。
注:本书中出现的部分专有名词、专业术语、产品名称、软件项目名称、工具名称等,是淘宝(中国)软件有限公司内部项目的惯用词语,如与第三方名称雷同,实属巧合。

原文连接本文为阿里云原创内容,未经容许不得转载。