Flume研究心得

【采集层】Kafka 与 Flume 如何选择

http://my.oschina.net/frankwu/blog/355298

Flume -- 开源分布式日志收集系统

http://www.cnblogs.com/hanganglin/articles/4224928.html

Flume 收集Nginx日志到Hdfs Tail-to-hdfs sink 

http://blog.csdn.net/luyee2010/article/details/22159445

flume是作收集的，能够把它理解为一个数据的转换者，从本地把数据读取，而后转化到hdfs分布式文件系统上，目的是把两个系统的文件作一个对接；相似于sqoop作数据库的对接，它把mysql的数据库转到hdfs上或Hbase上。

Flume至关于一根管子，里面流的是数据 ，进去的目录-source(本地目录)，Flume进来监控的是本地目录；出去的目录-sink(HDFS目录，分布式文件系统上);

Spooling Directory Source注意事项：

Flume进来监控的是本地目录，本地里有一个监控的目录，本地目录中的文件要是变化才能够。不能直接监控到nginx服务器，它上面会产生日志，它一直在读写，nginx产生日志，进行真正滚动后，好比10分钟生成一个文件，这时，你把它mv 或 copy到 本地要监控的目录，flume不能监控目录中文件内容是一直变化的，只能监控文件的个数的变化，flume一看个数变化，它才把日志抓过来。

最近两天，仔细的看了一下Flume中央日志系统（版本号：1.3.X），Flume在本人看来，仍是一个很是不错的日志收集系统的，其设计理念很是易用，简洁。而且是一个开源项目，基于Java语言开发，能够进行一些自定义的功能开发。运行Flume时，机器必须安装装JDK6.0以上的版本，而且，Flume目前只有Linux系统的启动脚本，没有Windows环境的启动脚本。  
          

Flume主要由3个重要的组件购成：  
       Source:完成对日志数据的收集，分红transtion 和 event 打入到channel之中。  
      Channel:主要提供一个队列的功能，对source提供中的数据进行简单的缓存。  
      Sink:取出Channel中的数据，进行相应的存储文件系统，数据库，或者提交到远程服务器。  
对现有程序改动最小的使用方式是使用是直接读取程序原来记录的日志文件，基本能够实现无缝接入，不须要对现有程序进行任何改动。  
对于直接读取文件Source,有两种方式：  
      ExecSource:以运行Linux命令的方式，持续的输出最新的数据，如tail -F 文件名指令，在这种方式下，取的文件名必须是指定的。  
      SpoolSource:是监测配置的目录下新增的文件，并将文件中的数据读取出来。

须要注意两点： 

一、拷贝到spool目录下的文件不能够再打开编辑。

２、spool目录下不可包含相应的子目录。 在实际使用的过程当中，能够结合log4j使用，使用log4j的时候，将log4j的文件分割机制设为1分钟一次，将文件拷贝到spool的监控目录。log4j有一个TimeRolling的插件，能够把log4j分割的文件到spool目录。基本实现了实时的监控。Flume在传完文件以后，将会修改文件的后缀，变为.COMPLETED（后缀也能够在配置文件中灵活指定）  
ExecSource，SpoolSource对比：

ExecSource能够实现对日志的实时收集，可是存在Flume不运行或者指令执行出错时，将没法收集到日志数据，没法何证日志数据的完整性。

SpoolSource虽然没法实现实时的收集数据，可是可使用以分钟的方式分割文件，趋近于实时。若是应用没法实现以分钟切割日志文件的话，能够两种收集方式结合使用。  

Channel有多种方式：有MemoryChannel,JDBC Channel,MemoryRecoverChannel,FileChannel。

MemoryChannel能够实现高速的吞吐，可是没法保证数据的完整性。

MemoryRecoverChannel在官方文档的建议上已经建义使用FileChannel来替换。

FileChannel保证数据的完整性与一致性。

在具体配置实现的FileChannel时，建议FileChannel设置的目录和程序日志文件保存的目录设成不一样的磁盘，以便提升效率。  

Sink在设置存储数据时，能够向文件系统中，数据库中，hadoop中储数据(HDFS、HBase)，在日志数据较少时，能够将数据存储在文件系中，而且设定必定的时间间隔保存数据。在日志数据较多时，能够将相应的日志数据存储到Hadoop中，便于往后进行相应的数据分析。