数仓缓慢变化维深层讲解

前言

         维度缓慢变化为SCD（Slowly Changing Dimensions）一些维度表的数据不是静态的，而是会随着时间而缓慢地变化（这里的缓慢是相对事实表而言，事实表数据变化的速度比维度表快，若是还不知道什么是事实表和维度表请看→数仓模型设计详细讲解）把处理维度表数据历史变化的问题，称为缓慢变化维问题，简称SCD问题。

举例说明

         例如：用根据用户维度，统计不一样出生年份的消费金额占比。（80后、90后、00后）。而期间，用户可能去修改用户数据，例如：将出生日期改为了 1992年。此时，用户维度表就发生了变化。固然这个变化相对事实表的变换要慢。但这个用户维度表的变化，就是缓慢变化维。

这个用户的数据不是一直不变，而是有可能发生变化。例如：用户修改了出生日期、或者用户修改了住址。

1、SCD问题的几种解决方案

如下为解决缓慢变化维问题的几种办法：

• 保留原始值
• 改写属性值
• 增长维度新行
• 增长维度新列
• 添加历史表

1.1 保留原始值

某一个属性值毫不会变化。事实表始终按照该原始值进行分组。
例如：出生日期的数据，始终按照用户第一次填写的数据为准

1.2 改变属性值

• 对其相应须要重写维度行中的旧值，以当前值替换。所以其始终反映最近的状况。
• 当一个维度值的数据源发生变化，而且不须要在维度表中保留变化历史时，一般用新数据来覆盖旧数据。这样的处理使属性所反映的中是最新的赋值。

用户维度表
修改前：

修改后：

• 这种方法有个前提，用户不关心这个数据的变化
• 这样处理，易于实现，可是没有保留历史数据，没法分析历史变化信息

1.3 增长维度新行

         数据仓库系统的目标之一是正确地表示历史。典型表明就是拉链表
         保留历史的数据，并插入新的数据。

用户维度表
修改前：

修改后:

1.4 增长维度新列

         用不一样的字段来保存不一样的值，就是在表中增长一个字段，这个字段用来保存变化后的当前值，而原来的值则被称为变化前的值。总的来讲，这种方法经过添加字段来保存变化后的痕迹。

用户维度表
修改前：

修改后

1.5 使用历史表

         另外建一个表来保存历史记录，这种方式就是将历史数据与当前数据彻底分开来，在维度中只保存当前最新的数据。
用户维度表

用户维度历史表

这种方式的优势是能够同时分析当前及前一次变化的属性值，缺点是只保留了最后一次变化信息。

思考

         我在这里给你们提个场景题，好比咱们在淘宝上够买了一件商品，从下单-支付-发货-配送-确认收货这个几步流。需求：统计出在发送到配置过程当中转了几回？

小结：

         今天给你们分享了SCD解决方案，可是其实以上的解决方案不是很好，其实数仓有一个很是好的解决缓慢变化维拉链表既保留了历史数据又不会形成数据冗余，拉链表咱们下期讲。信本身，努力和汗水总会能获得回报的。我是大数据老哥，咱们下期见~~~

获取Flink面试题，Spark面试题，程序员必备软件，hive面试题，Hadoop面试题，Docker面试题，简历模板等资源请去GitHub自行下载 https://github.com/lhh2002/Framework-Of-BigData