数据仓库设计与实现入门(一、ODS/DW/BN简介)

一、从数据流的逻辑上来讲,数据主要分为ODS层(原始日志数据),DW层(数据仓库),BN(统计结果数据) Spark/SparkStreaming任务加载原始日志(离线处理flume落地到hadoop集群的hdfs或实时消费kafka数据)提取业务最原始数据,根据业务逻辑生成ODS层数据(分类/分流后的原始日志);再根据业务场景进一步将业务ODS层数据划分到DW层(处理后的数据模型);最后跟据具体
相关文章
相关标签/搜索