Flume1:基础知识、Agent架构、Channel/Sink传输拦截器与Put/Take传输事务控制

1. 基础知识       flume是一个实时数据采集工具,可以从各种各样的数据源(服务器)上采集用户行为、事件日志数据集中传输(汇聚)到大数据生态的各种存储平台中(hdfs,hbase,hive,kafka) 1.1 flume的优势: 可以高速采集数据,采集的数据能够以想要的文件格式及压缩方式存储在hdfs上 事务功能保证了数据在采集的过程中数据不丢失 部分Source保证了Flume挂了以
相关文章
相关标签/搜索