Flume基础知识

概述 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 主要作用：实时读取服务器本地磁盘数据，将数据写入HDFS； 优点： 可以和任意存储进程集成。 输入的的数据速率大于写入目的存储的速率（读写速率不同步），flume会进行缓冲，减小hdfs的压力。 flume中的事务基于channel，使用了两个事务模型（sen

>>阅读原文<<