Flume到MongoDB的日志行为收集

需求概述 某公司须要对玩家行为日志进行统一收集,收集后所有存入MongoDB,同时部分写入Kafka,对接SparkSteaming 作实时计算处理。他们使用的日志收集框架彻底本身手动管理 效率低 须要一款能够实现高可用 分布式横向扩展的日志收集框架这时候Flume来了~ 概述 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各种数据发送方,用于收集数据
相关文章
相关标签/搜索