数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。
数据仓库,是为企业全部级别的决策制定过程,提供全部类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而建立。
为须要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。sql
数据仓库 ,由数据仓库之父比尔·恩门(BillInmon)于1990年提出,
主要功能还是将组织透过资讯系统之联机事务处理(OLTP)经年累月所累积的大量资料,透过数据仓库理论所特有的资料储存架构,做一有系统的分析整理,以利各类分析方法如联机分析处理(OLAP)、数据挖掘(Data Mining)之进行,
并进而支持如决策支持系统(DSS)、主管资讯系统(EIS)之建立,帮助决策者能快速有效的自大量资料中,分析出有价值的资讯,以利决策拟定及快速回应外在环境变更,帮助建构商业智能(BI)。数据库
操做数据存储ODS(Operational Data Store)是数据仓库体系结构中的一个可选部分
具有以下特色:架构
1.面向主题的
2.集成的
3.当前或接近当前的
4.不断变化的工具
三范式建模:分层,大宽表,拉链,能够left join
星型结构建模:面向集市的,将事实和维度拆开,构成维度事实表。单元测试
建模流程:
CDM(概念模型)-->LDM(逻辑模型)-->PDM(物理模型)测试
单元测试:根据源系统逻辑,手动编写sql,和集市或者汇总层的数据进行对比。其实单元测试并不难,只是须要与业务知识取数逻辑相结合。经常使用的sql就是 distinct,group by,order by。
另外在测试过程当中须要进行sql优化,提升效率优化
调度工具:做业流管理,做业调度,做业监控事务
数据建模方法:
维度建模
三范式建模get