点击流日志分析架构

总体流程设计

一、经过日志收集系统将数据获取并存放到某个存储介质中，本例能够使用kafka

二、Storm程序从kafka中消费数据数据，逐条消费的日志

三、Storm程序从数据库中加载产品人员配置的任务信息

四、Storm程序计算每一个任务的各项指标，各项指标的中间结果存放在Redis中

五、同步程序，按照必定的时间周期从Redis中计算每一个任务的增量数据，并将增量数据存放在mysql数据库中

六、同步程序，按照每一个指标的增量数据计算不一样维度的基础数据

七、报表系统从Mysql数据库获取每一个每一个指标的基础数据进行展现