移动大数据平台架构思想以及实践经验

摘要：友盟大数据平台的架构借鉴了Lambda架构思想，数据接入层让Kafka集群承担，后面由Storm消费，存储在MongoDB里面，通过Kafka自带的Mirror功能同步，两个Kafka集群，可以分离负载；计算有离线和实时两部分，实时是Storm，离线是Hadoop，数据仓库用Hive，数据挖掘正在从Pig迁移到Spark，大量的数据通过计算之后，存储在HDFS上，最后存储在HBase里面，通

>>阅读原文<<