[数仓]数据仓库设计方案

数据仓库设计方案

一.概述

 数据仓库的特征在于面向主题、集成性、稳定性和时变性，用于支持管理决策。数据仓库的存在的意义在于对企业的全部数据进行汇总，为企业各个部门提供统一的、规范的数据出口。数据仓库在构建过程当中一般都须要进行分层处理。业务不一样，分层的技术处理手段也不一样。数仓分层的主要缘由：

• 清晰数据结构
   每个数据分层都有它的做用域，这样在使用表的时候能更方便的定位和理解。
• 数据血缘追踪
   因为最终给业务呈现的是一个能直接使用的业务表，可是表的数据来源有不少，若是有一张来源表出问题了，咱们但愿可以快速准确的定位到问题，并清楚他的危害范围。
• 减小重复开发
   规范数据分层，开发一些通用的中间层数据，可以减小极大的重复计算。

• 复杂问题简单化
   将一个复杂的任务分解成多个步骤来完成，每一层只处理单一的步骤，比较简单和容易理解。并且便于维护数据的准确性，当数据出现问题以后，能够不用修复全部的数据，只须要从有问题的步骤开始修复。

  二.数据仓库分层设计

   常见的数据仓库分为ODS操做数据存储层、DW数据仓库层和DM数据集市层三层，其中DW层又分为DWD层和DWS层。数据仓库分层结构见下图：

2.1 ODS层

 ODS层中的数据所有来自于业务数据库，ODS层的表格也业务数据库中的表格一一对应，就是将业务数据库中的表格在数据仓库的底层从新创建一次，数据与结构彻底一致。
 因为业务数据库（OLTP）基本按照ER实体模型建模，所以ODS层中的建模方式也是ER实体模型。

2.2 DW层

 DWD层要作的就是将数据清理、整合、规范化、脏数据、垃圾数据、规范不一致的、状态定义不一致的、命名不规范的数据都会被处理。DWD层应该是覆盖全部系统的、完整的、干净的、具备一致性的数据层。在DWD层会根据维度模型，设计事实表和维度表，也就是说DWD层是一个很是规范的、高质量的、可信的数据明细层。
 DWS层为公共汇总层，会进行轻度汇总，粒度比明细数据稍粗，基于DWD层上的基础数据，整合汇总成分析某一个主题域的服务数据，通常是宽表。DWS层应覆盖80%的应用场景。

2.3 DM层

 DM层为数据集市层，面向特定主题。在DM层完成报表或者指标的统计，DM层已经不包含明细数据，是粗粒度的汇总数据。DM层是针对某一个业务领域创建模型，具体用户（通常为决策层）查看DM层生成的报表。

三.维度模型

 维度建模的理论由 Ralph Kimball 提出，他提出将数据仓库中的表划分为事实表和维度表两种类型。维度建模源自数据集市，主要面向分析场景。维度建模是面向分析场景而生，针对分析场景构建数仓模型；重点关注快速、灵活的解决分析需求，同时可以提供大规模数据的快速响应性能。针对性强，主要应用于数据仓库构建和OLAP引擎底层数据模型。
 “事实表”，用来存储事实的度量（measure）及指向各个维的外键值。“维度表”， 用来保存该维的元数据，即维的描述信息，包括维的层次及成员类别等。
 简单的说，维度表就是你观察该事物的角度（维度)，事实表就是你要关注的内容。例如用户使用滴滴打车，那么打车这件事就能够转化为一个事实表，即打车订单事实表，而后用户对应一张用户维度表，司机对应一张司机维度表。

3.1 事实表

 在现实世界中，每个操做型事件，基本都是发生在实体之间的，伴随着这种操做事件的发生，会产生可度量的值，而这个过程就产生了一个事实表，存储了每个可度量的事件。
 发生在现实世界中的操做性事件所产生的可度量数值，存储在事实表中。从最低的粒度级别来看，事实表行对应一个度量事件，反之亦然。所以，事实表的设计彻底依赖于物理活动，不受可能产生的最终报表的影响。除数字度量外，事实表老是包含外键，用于关联与之相关的维度，也包含可选的退化维度键和日期/时间戳。查询请求的主要目标是基于事实表展开计算和汇集操做。
 事实表每每包含三个重要元素：

• 维度表外键
  
• 度量数据
  
• 事件描述信息

 例如在电商场景中的一次购买事件，涉及主体包括客户、商品、商家，产生的可度量值包括商品数量、金额、件数等。

3.2 维度表

 每一个维度表都包含单一的主键列。维度表的主键能够做为与之关联的任何事实表的外键，固然，维度表行的描述环境应与事实表行彻底对应。维度表一般比较宽，是扁平型非规范表，包含大量的低粒度的文本属性。
 好比商品，单一主键为商品ID，属性包括产地、颜色、材质、尺寸、单价等，但并不是属性必定是文本，好比单价、尺寸，均为数值型描述性的，平常主要的维度抽象包括：时间维度表、地理区域维度表等。

综上所述，若是针对用户的下单行为（单一商品）进行维度建模，能够获得以下模型：

四.数据仓库规范

4.1 表名命名规范

 为了让数据全部相关方对于表包含的信息有一个共同的认知。好比说属于哪一层（ODS、DW明细、DW汇总、DM）？哪一个业务/部门？哪一个维度（用户、车机设备）？哪一个时间跨度（天、月、年、实时）？增量仍是全量？
命名格式：层次_业务/部门_修饰/描述_范围/周期

数据仓库中表格的命名规范以下表所示：

数仓层次		周期/数据范围
公用维度	dim	日快照	d
DM层	dm	增量	i
ODS层	ods	周	w
DWD层	dwd	拉链表	l
DWS层	dws	非分区全量表	a