Apache Flume 学习

Apache Flume，又称Flume NG (next generation)，前身是Cloudera公司的Flume项目 -- 又称Flume OG。

这货的功能就是从源中将数据收集到指定的目的地，例如从日志文件中收集日志信息，发送到数据库中或其余地方。

 

Apache Flume的三大块：source、channel、sink；也就是 数据源、通道、目的地。

两个主要的channel：①in-memory channel 非持久、速度快；②JDBC-based channel 持久、速度慢。

全部的节点统称agent；每一个agent能运行0个或多个sources和sinks。

再也不须要master节点；再也不须要依赖zookeeper；配置文件简化。