基于Kafka与Spark的实时大数据质量监控平台

微软的ASG (应用与服务集团)包含Bing,、Office,、Skype。天天产生多达5 PB以上数据，如何构建一个高扩展性的data audit服务来保证这样量级的数据完整性和实时性很是具备挑战性。本文将介绍微软ASG大数据团队如何利用Kafka、Spark以及Elasticsearch来解决这个问题。前端 微软的ASG (应用与服务集团)包含Bing,、Office,、Skype。天天产生多

>>阅读原文<<