Flume(4)实用环境搭建:source(spooldir)+channel(file)+sink(hdfs)方式

1、概述:

在实际的生产环境中,通常都会遇到将web服务器好比tomcat、Apache等中产生的日志倒入到HDFS中供分析使用的需求。这里的配置方式就是实现上述需求。web

2、配置文件:

#agent1 name
agent1.sources=source1
agent1.sinks=sink1
agent1.channels=channel1


#Spooling Directory
#set source1
agent1.sources.source1.type=spooldir
agent1.sources.source1.spoolDir=/opt/flumetest/data

agent1.sources.source1.channels=channel1
agent1.sources.source1.fileHeader = false
agent1.sources.source1.interceptors = i1
agent1.sources.source1.interceptors.i1.type = timestamp

#set sink1
agent1.sinks.sink1.type=hdfs
agent1.sinks.sink1.hdfs.path=/home/hdfs/flume/logs
agent1.sinks.sink1.hdfs.fileType=DataStream
agent1.sinks.sink1.hdfs.writeFormat=TEXT
agent1.sinks.sink1.hdfs.rollInterval=1
agent1.sinks.sink1.channel=channel1
agent1.sinks.sink1.hdfs.filePrefix=%Y-%m-%d

#set channel1
agent1.channels.channel1.type=file
agent1.channels.channel1.checkpointDir=/opt/flumetest/cp/point
agent1.channels.channel1.dataDirs=/opt/flumetest/cp

3、执行下述命令:

执行以前先确保上面配置文件中定义的文件夹都已经存在。tomcat

bin/flume-ng agent -n agent1 -c conf -f study/logs2hdfs.conf -Dflume.root.logger=DEBUG,console

source文件夹中的日志列表以下:服务器

image

4、查看hdfs中的数据:

image

能够看到里面的数据文件都很小,这跟配置有关系,由于sink的配置里rollInterval配置的时间间隔过小致使的。能够根据需求在进行调整。spa

相关文章
相关标签/搜索