数据仓库之系统数据流程设计

数据加工的整体流程设计如下图： 数据源： 业务交互数据 前端埋点用户行为数据 数据走向： 业务数据上传到mysql数据库中，有些表需要每天进行更新，从业务服务器上传的数据每天都会有变化，数据库就是便于较少数据的增删改查。最终将数据通过sqoop上传到hdfs，在用sqoop上传时，可能运行时间比较长，例如20多张表需要一个小时才可以完全上传成功。 埋点的用户行为数据 储存在特定的linux目录中，

>>阅读原文<<