基于Kafka与Spark的实时大数据质量监控平台

微软的ASG (应用与服务集团)包含Bing,、Office,、Skype。每天产生多达5 PB以上数据，如何构建一个高扩展性的data audit服务来保证这样量级的数据完整性和实时性非常具有挑战性。本文将介绍微软ASG大数据团队如何利用Kafka、Spark以及Elasticsearch来解决这个问题。 案例简介 本案例介绍了微软大数据平台团队设计和部署的基于开源技术(Kafka、Spark、

>>阅读原文<<