大数据之flume

Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 它可以采集文件,socket数据包等各种形式源数据,又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中。 一、flume结构 Flume分布式系统中最核心的角色是agent,每一个agent相当于一个数据传递员,内部有三个组件: Source::采集源,用于跟数据源对接,以获取数据; S
相关文章
相关标签/搜索