2020-08-17

数仓项目 咱们的数仓项目从数据来源来讲分为两类,用户行为日志(web端,微信小程序,APP,前端页面埋点)和业务数据库,从技术架构上说,分为ods,dwd,dws,ads层. (1)ODS层是一个数据采集汇聚层,操做的是最原始的数据,主要的任务是:用flume采集第三方日志,和用sqoop进行业务数据库的抽取,要与原始的数据保持一致,采集过来的数据以json格式存储,通常存储的周期为三个月.

>>阅读原文<<