数据仓库概述

数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。
数据仓库,是为企业全部级别的决策制定过程,提供全部类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而建立。
为须要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。sql


数据仓库 ,由数据仓库之父比尔·恩门(BillInmon)于1990年提出,
主要功能还是将组织透过资讯系统之联机事务处理(OLTP)经年累月所累积的大量资料,透过数据仓库理论所特有的资料储存架构,做一有系统的分析整理,以利各类分析方法如联机分析处理(OLAP)、数据挖掘(Data Mining)之进行,
并进而支持如决策支持系统(DSS)、主管资讯系统(EIS)之建立,帮助决策者能快速有效的自大量资料中,分析出有价值的资讯,以利决策拟定及快速回应外在环境变更,帮助建构商业智能(BI)。数据库

数据仓库特色:数据处理,屏蔽源系统和应用的变动

  1. 面向主题的
  2. 集成的。 数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上通过系统加工、汇总和整理获得的,必须消除源数据中的不一致性,以保证数据仓库内的信息是关于整个企业的一致的全局信息。
  3. 相对稳定的
  4. 反应历史变化的---不作删除和修改

ODS (操做数据存储)

操做数据存储ODS(Operational Data Store)是数据仓库体系结构中的一个可选部分
具有以下特色:架构

1.面向主题的
2.集成的
3.当前或接近当前的
4.不断变化的工具

三范式建模:分层,大宽表,拉链,能够left join
星型结构建模:面向集市的,将事实和维度拆开,构成维度事实表。单元测试

建模流程:
CDM(概念模型)-->LDM(逻辑模型)-->PDM(物理模型)测试

单元测试:根据源系统逻辑,手动编写sql,和集市或者汇总层的数据进行对比。其实单元测试并不难,只是须要与业务知识取数逻辑相结合。经常使用的sql就是 distinct,group by,order by。
另外在测试过程当中须要进行sql优化,提升效率优化

调度工具:做业流管理,做业调度,做业监控事务

数据建模方法:
维度建模
三范式建模get

参考资料:

  1. 数据仓库
相关文章
相关标签/搜索