Flume + HDFS + Hive日志收集系统

最近一段时间，负责公司的产品日志埋点与收集工作，搭建了基于Flume+HDFS+Hive日志搜集系统。   一、日志搜集系统架构： 简单画了一下日志搜集系统的架构图，可以看出，flume承担了agent与collector角色，HDFS承担了数据持久化存储的角色。 作者搭建的服务器是个demo版，只用到了一个flume_collector，数据只存储在HDFS。当然高可用的日志搜集处理系统架构是需

>>阅读原文<<