Flume保存日志到MongoDB

首先到网站下载Flumehtml

地址:http://flume.apache.org/download.htmljava

而后放到/usr/local/目录下解压linux

 

tar -zxvf apache-flume-1.5.2-bin.tar.gz

 

下载MongoDB插件git

地址:https://github.com/leonlee/flume-ng-mongodb-sinkgithub

下载后是一个工程,须要本身打包成jar,而后直接放到解压后的Flume目录下的lib目录便可,固然还须要把mongodb驱动一块儿放入mongodb

 

进入Flume目录下的conf目录,编辑flume-server.conf文件以下:apache

# 定义组件名称  
agent2.sources = source2  
agent2.sinks = sink2  
agent2.channels = channel2  
  
# 定义数据入口  
agent2.sources.source2.type = syslogudp 
agent2.sources.source2.host = 0.0.0.0  
agent2.sources.source2.port = 10001  
agent2.sources.source2.channels = channel2  
  
# 定义数据出口  
agent2.sinks.sink2.type = org.riderzen.flume.sink.MongoSink  
agent2.sinks.sink2.host = 192.168.8.30
agent2.sinks.sink2.port = 27017  
agent2.sinks.sink2.model = single
agent2.sinks.sink2.db = test
agent2.sinks.sink2.collection = log  
agent2.sinks.sink2.batch = 2  
agent2.sinks.sink2.channel = channel2  
  
  
  
# 使用内存管道  
agent2.channels.channel2.type = memory  
agent2.channels.channel2.capacity = 1000  
agent2.channels.channel2.transactionCapacity = 100

 而后进入Flume的bin目录启动服务ide

./flume-ng agent -n agent2 -c ../conf -f ../conf/flume-server.conf

 -n表示当前运行的这个agent名称网站

 -c表示配置文件存放目录spa

 -f表示运行agent所使用的配置文件

若是想要程序后台运行,只须要在最后空格一下,加上&便可。(非永久性,远程断开linux时会中止)

若是想要永久性程序后台运行,只须要在最前面加上nohup,而后加一个空格隔开

若是想要使用debug模式查看日志,只须要在最后加上-Dflume.root.logger=INFO,console便可