ODS

ODS（英语：Operational Data Store)是一种数据架构或数据库设计的概念，出现缘由是来自于当须要集成来自多个系统的数据，结果又要给一或多个系统使用时。

1、概念

        ODS (Operational Data Store)操做型数据存储，ODS具有数据仓库的部分特征和OLTP系统的部分特征，它是“集成的、当前或接近当前的、不断变化的”数据，通常不保留数据的变更轨迹，是数据仓库体系结构中的一个可选部分。

        ODS的数据具备面向主题、集成的、可变的和数据是当前的或是接近当前的4个基本特征。一样也能够看出ODS是介于DB和DW 之间的一种数据存储技术，和原来面向应用的分散的DB相比，ODS中的数据组织方式和数据仓库（DW）同样也是面向主题的和集成的，因此对进入ODS的数据也象进入数据仓库的数据同样进行集成处理。另外ODS只是存放当前或接近当前的数据，若是须要的话还能够对ODS中的数据进行增、删和更新等操做，虽然DW中的数据也是面向主题和集成的，但这些数据通常不进行修改，因此ODS和DW的区别主要体现数据的可变性、当前性、稳定性、汇总度上。

2、ODS与DW比较

ODS	DW
主要是和源系统表结构相同，表结构随着源系统变化	面向主题的表模型，模型相对稳定
通常只保留最新数据或较短期段的数据	历史数据，记录轨迹
追求时间窗口短，知足报表数据的实效性	批处理时间窗口较长
Update、Insert、Merge操做	主要是Insert操做

 

3、ODS与DW应用实施

实施方案	特色	风险
数据仓库（DW）	通常包含一个数据准备层，先进行源数据采集和清洗；有稳定成熟的模型；	投入大、风险高
操做型数据存储（ODS）	主要是快速采集源数据；通常也会采用DW的一些技术；能够部分保留较少天数的历史数据，不能知足企业的中远期决策需求；缺点是数没有稳定的数据层；	投资小、但涉及技术较多
ODS+DW	通常ODS用于报表数据源，同时为DW提供数据；DW做决策支持，提供历史数据；	通常须要分步实施，下降风险

 

实施方案	实施结果	优点	劣势
ODS	企业可以把握ODS中的当前综合数据对企业当前的运营状况随时掌控	能够知足企业的实时监控和实时业务需求	不能解决企业的中远决策需求
DW	企业可以分析DW中的历史数据，进行中远期的规划	能够解决企业的中远决策需求	不能知足企业的实时监控和实时业务需求

 

4、经常使用术语

ETL(Extract Transform  Load)	例如IBM Datastage、Informatic  PowerCenter
DM（Data Mart）数据集市	数据集市也可叫作“小数据仓库”。若是说数据仓库是创建在企业级的数据模型之上的话。那么数据集市就是企业级数据仓库的一个子集,他主要面向部门级业务,而且只面向某个特定的主题。数据集市能够在必定程度上解决访问数据仓库的瓶颈
Cognos	报表开发展示工具
Cube	数据立方体，Cognos基于文件的多维数据组织，用于多维分析
主数据	主要的业务数据，例如客户信息、卡、账户
Metadata元数据	数据的数据，包括数据源元数据、ETL规则元数据、OD元数据、报表元数据、接口文件元数据、业务规则元数据等

 

5、ODS优缺点

主要优势：

一、提供T+1同构表给MIS系统使用，减轻了对源交易系统的数据访问压力； 
二、屏蔽了众多的、异构的数据库，例如DB2/400、sqlserver，物理上集中存放到oracle数据库，下降了MIS系统部署难度； 
三、能够统一进行清洗和简单的处理，例如统一Trim； 
四、提供部分整合后的主数据层供用户访问，能够下降源系统变化带来的影响； 
五、对多个应用系统公用的数据指标能够统一加工，提供公共加工层表； 
六、提供各源系统批处理结束标志，方便MIS日报开发； 
七、对MIS系统的批处理做业能够提供统一调度； 
八、提供部分表的历史数据保存，方便MIS使用；

缺点和不足：

一、改善源系统的数据质量的能力有限，例如:若是源系统没有最后修改日期字段，ODS也较难提供增量数据给后面的应用系统；  二、增大了数据错误的机率；若是经过ETL工具也能够直接访问多个源系统数据并完成数据加工，在数据准确性上保障更高；  三、由于不能掌握所有的源系统数据，例如繁多的登记薄，一段时间内还须要由需求推进同构表的分析和采集工做；  四、没有稳定的、面向主题的数据模型；  五、不能大量地保存历史数据；  六、批处理时间窗口内不能提供数据访问；