第三节:数据仓库与ODS

1：ods产生背景
 人们对数据的处理行为能够划分为操做型数据处理和分析型数据处理，操做型数据处理通常放在传统的数据库中进行，分析型数据
 处理则须要放在数据仓库中进行。但不是全部的数据处理均可以这样划分，换句话说，人们对数据的处理需求并不仅有这两类，比
 如，有些操做型处理并不适合放在传统的数据库上完成，也有些分析型处理不适合在数据仓库中进行。这时候就须要第三种数据存
 储体系，操做数据存储（ODS）系统就所以产生。它的出现将DB~DW两层数据架构转变成DB~ODS~DW三层数据架构。
     什么是ODS？
 ODS是用于支持企业平常的，全局应用的数据集合。
2：ODS数据的基本特征
 a：面向主题的，进入ODS的数据是来源于各个操做型数据库以及其余外部数据源，数据进入ODS以前必须通过ETL过程
 b：集成的，ods的数据来源于各个操做型数据库，同时也会在数据清理加工后进行必定程度的综合。
 c：可更新的，能够联机修改，这一点区别于数据仓库
 d：当前或接近当前，“当前”指数据在存取时刻是最新的，“接近当前”是指存取的数据是最近一段时间获得的。
3：ODS的功能
 1）：实现企业级的olap操做
 传统的操做型数据库每每只存放企业某一类业务或者某一个部门的数据，所以没法面向企业全局数据的OLAP，而ODS能够实现，
 由于ODS是面向整个企业进行集成汇总的，克服了原来面向应用的操做型数据库数据分散的缺陷。
 2）：实现即时的olap操做
 在数据仓库上进行OLAP操做，每每因为数据量庞大而须要较长的时间，而在企业实际应用中，对于一些较低层次的决策，每每并
 不须要太多的历史数据，可能只须要参考当前的或者接近当前的数据就能够，而且要求具备较快的响应时间，所以数据仓库显然没法
 知足这样的需求，可是ODS能够实现。ODS中不只有面向企业全局的细节数据和汇总数据，并且规模比数据仓库小，具备较强的
 实时响应能力。
 总结：ODS是一种数据存储系统，它未来自不一样数据源的数据（各类操做型数据库，外部数据源等）经过ETL过程汇聚整合成面向
 主题的，集成的，企业全局的，一致的数据集合（主要是最新的或者最近的细节数据以及可能须要的汇总数据），用于知足企业
 准实时的OLAP操做和企业全局的OLAP操做，并为数据仓库提供集成后的数据，将数据仓库系统中的ETL过程下沉到ODS中完成
 以减轻数据仓库的压力。
4：DB~ODS~DW三层体系结构
 ODS和DW面向不一样的用户，为不一样的需求，所以都有不可替代的做用，二者相互结合，互相补充。
 ODS在三层体系结构中扮演者承上启下的做用
 一方面，ODS在原来独立的各个DB的基础上创建了一个一致的，企业全局的，面向主题的数据环境，使原有的DB系统获得改造。
 另外一方面，ODS使DW卸去了数据集成，结构转换等一系列负担，对DW的数据追加经过ODS完成，大大简化了DW的数据传输接
 口和DW管理数据的复杂度。
 ODS系统建设，弥补了DB~DW两层体系结构的不足，可是ODS并非必须的，当企业不须要操做型集成信息时，基于DB~DW
 的两层体系结构是较优秀的，若是须要，则DB~ODS~DW三层体系结构则是比较优秀的。
5：ODS与DW的区别

 ODS在三层体系结构中起到承上启下的做用。
 ODS的数据虽然具备DW中数据的面向主题，集成的特色，可是也有不少区别。
 1：存放数据的内容不一样
 ODS中主要存放当前或者接近当前的数据，细节数据，能够进行联机更新
 DW中主要存放细节数据和历史数据，以及各类程度的综合数据，不能进行联机更新。
 ODS中也能够存放综合数据，但只有须要的时候生成。
 2：数据规模不一样
 因为存放的数据内容不一样，所以DW的数据规模远远超过ODS
 3：技术支持不一样
 ODS须要支持面向记录的联机更新，并随时保证其数据与数据源中的数据一致。
 DW则须要支持ETL技术和数据快速存取技术。
 4：面向的需求不一样
 ODS只要面向两个需求：一是用于知足企业进行全局应用的须要，即企业级的olap和即时的olap；二是向数据仓库
 提供一致的数据环境用于数据抽取。
 DW主要用于企业高层战略决策，供挖掘分析使用。
 5：使用者不一样
 ODS主要使用者是企业中层管理人员，他们使用ods进行企业平常管理和控制。
 DW主要使用者是企业高层和分析人员。