关于ETL

大多数据仓库的数据架构能够归纳为：

数据源-->ODS(操做型数据存储)-->DW-->DM(data mart)

ETL贯穿其各个环节。

1、数据抽取：

      能够理解为是把源数据的数据抽取到ODS或者DW中。

      1. 源数据类型：

          关系型数据库，如Oracle,Mysql,Sqlserver等;

          文本文件，如用户浏览网站产生的日志文件，业务系统以文件形式提供的数据等；

          其余外部数据，如手工录入的数据等；

      2. 抽取的频率：

          大可能是天天抽取一次，也能够根据业务需求每小时甚至每分钟抽取，固然得考虑源数据库系统可否承受；

      3. 抽取策略：

          我的感受这是数据抽取中最重要的部分，可分为全量抽取和增量抽取。

          全量抽取适用于那些数据量比较小，而且不容易判断其数据发生改变的诸如关系表，维度表，配置表等；

          增量抽取，通常是因为数据量大，不可能采用全量抽取，或者为了节省抽取时间而采用的抽取策略；

              如何判断增量，这是增量抽取中最难的部分，通常包括如下几种状况：

              a) 经过时间标识字段抽取增量；源数据表中有明确的能够标识当天数据的字段的流水表，

                  如createtime，updatetime等；

              b) 根据上次抽取结束时候记录的自增加ID来抽取增量；无createtime,但有自增加类型字段的流水表，

                  如自增加的ID，抽取完以后记录下最大的ID，

                  下次抽取可根据上次记录的ID来抽取；

              c)  经过分析数据库日志获取增量数据，无时间标识字段，无自增加ID的关系型数据库中的表；

              d)  经过与前一天数据的Hash比较，比较出发生变化的数据，这种策略比较复杂，在这里描述一下，

                    好比一张会员表，它的主键是memberID,而会员的状态是有可能天天都更新的，

                    咱们在第一次抽取以后，生成一张备用表A，包含两个字段，第一个是memberID,

                    第二个是除了memberID以外其余全部字段拼接起来，再作个Hash生成的字段，

                    在下一次抽取的时候，将源表一样的处理,生成表B,将B和A左关联，Hash字段不相等的

                    为发生变化的记录，另外还有一部分新增的记录，

                    根据这两部分记录的memberID去源表中抽取对应的记录；

              e) 由源系统主动推送增量数据；例如订单表，交易表，

                  有些业务系统在设计的时候，当一个订单状态发生变化的时候，是去源表中作update，

                  而咱们在数据仓库中须要把一个订单的全部状态都记录下来，

                  这时候就须要在源系统上作文章，数据库触发器通常不可取。我能想到的方法是在业务系统上作些变更，

                  当订单状态发生变化时候，记一张流水表，能够是写进数据库，也能够是记录日志文件。

              固然确定还有其余抽取策略，至于采起哪一种策略，须要考虑源数据系统状况，

              抽取过来的数据在数据仓库中的存储和处理逻辑，抽取的时间窗口等等因素。

2、数据清洗：

      顾名思义，就是把不须要的，和不符合规范的数据进行处理。数据清洗最好放在抽取的环节进行，

      这样能够节约后续的计算和存储成本；

      当源数据为数据库时候，其余抽取数据的SQL中就能够进行不少数据清洗的工做了。

      数据清洗主要包括如下几个方面：

      1. 空值处理；根据业务须要，能够将空值替换为特定的值或者直接过滤掉；

      2. 验证数据正确性；主要是把不符合业务含义的数据作一处理，好比，把一个表示数量的字段中的字符串

          替换为0，把一个日期字段的非日期字符串过滤掉等等；

      3. 规范数据格式；好比，把全部的日期都格式化成YYYY-MM-DD的格式等；

      4. 数据转码；把一个源数据中用编码表示的字段，经过关联编码表，转换成表明其真实意义的值等等；

      5. 数据标准，统一；好比在源数据中表示男女的方式有不少种，在抽取的时候，直接根据模型中定义的值作转化，

          统一表示男女；

      6. 其余业务规则定义的数据清洗。。。

3、数据转换和加载：

      不少人理解的ETL是在通过前两个部分以后，加载到数据仓库的数据库中就完事了。

      数据转换和加载不只仅是在源数据-->ODS这一步，ODS-->DW, DW-->DM包含更为重要和复杂的ETL过程。

      1. 什么是ODS？

          ODS（Operational Data Store）是数据仓库体系结构中的一个可选部分，

          ODS具有数据仓库的部分特征和OLTP系统的部分特征，

          它是“面向主题的、集成的、当前或接近当前的、 不断变化的”数据。---摘自百度百科

          其实大多时候，ODS只是充当了一个数据临时存储，数据缓冲的角色。通常来讲，

          数据由源数据加载到ODS以后，会保留一段时间，当后面的数据处理逻辑有问题，须要从新计算的时候，

          能够直接从ODS这一步获取，而不用再从源数据再抽取一次，减小对源系统的压力。

          另外，ODS还会直接给DM或者前端报表提供数据，好比一些维表或者不须要通过计算和处理的数据；

          还有，ODS会完成一些其余事情，好比，存储一些明细数据以备不时之需等等；

      2. 数据转换(刷新)：

          数据转换，更多的人把它叫作数据刷新，就是用ODS中的增量或者全量数据来刷新DW中的表。

          DW中的表基本都是按照事先设计好的模型建立的，如事实表，维度表，汇总表等，

          天天都须要把新的数据更新到这些表中。

          更新这些表的过程(程序)都是刚开始的时候开发好的，天天只须要传一些参数,如日期，来运行这些程序便可。

      3. 数据加载：

          我的认为，每insert数据到一张表，均可以称为数据加载，至因而delete+insert、truncate+insert、

          仍是merge，这个是由业务规则决定的，这些操做也都是嵌入到数据抽取、转换的程序中的。