实时数仓架构设计

整体架构图   数据订阅同步(ODS) 实时流订阅 前期同步 binlog,埋点数据 离线数仓同步 根据实时数仓业务需要,同步相应离线数仓维表   实时数仓(DW) 数据明细层(DWD) 订阅来自 ODS 层的流数据,过滤无效数据,测试数据等,保留明细数据流 数据分流层 根据订阅流中不同 topic,分流不同数据,如总日志埋点数据中,经过分流层后,可分流出不同业务的日志数据(订餐埋点,广告埋点等)
相关文章
相关标签/搜索