Flume-ng(Flume-1.6.0) CentOS7配置过程

一、配置JDK环境（JDK6.0版本以上）

解压JDK tar包到本地文件夹/usr/local/java目录。

打开终端输入vi /etc/profile命令（使用GNOME桌面的话能够直接gedit /etc/profile 直接save保存更方便）。

按insert键在文件末尾追加：

export JAVA_HOME=/usr/local/java/jdk1.7.0_79
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

按Esc键退出编辑，输入：wq保存并退出。

此时在终端中输入java -version确认配置成功，假若显示OpenJDK，需先将其卸载。

二、配置Flume-1.x.x环境

解压flume tar包到本地文件夹/usr/local/flume目录。

打开终端输入 vi /etc/profile 命令。

按insert键正在文件末尾追加：

export FLUME_HOME=/usr/local/flume/flume-1.6.0
export FLUME_CONF_DIR=$FLUME_HOME/conf
export PATH=.:$PATH::$FLUME_HOME/bin

按Esc键退出编辑，输入：wq保存并退出。

此时在终端中输入flume-ng version确认配置成功。

配置成功结果以下：

二、配置代理配置文件

   在flume根目录下的conf文件夹中新建properties文件，文件名可自定义。

   本文定义为flume-conf.properties。

   配置文件内容以下：

   参考官方文档示例：http://flume.apache.org/FlumeUserGuide.html

#单节点配置文件

# a1,r1,k1,c1分别为自定义的代理名称，源名称，接收器名称，通道名称
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 定义源为netcat链接模式，绑定IP为localhost，端口为44444
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# 定义接收器输出日志
a1.sinks.k1.type = logger

# 定义内存通道
a1.channels.c1.type = memory
a1.channels.c1.capacity = 100
a1.channels.c1.transactionCapacity = 100

# 绑定源r1和接收器k1到通道c1
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

三、测试链接

以root用户权限在终端进入flume根目录（/usr/local/flume/flume-1.6.0）。

输入命令：其中a1为自定义的代理名称。

bin/flume-ng agent -n a1 -c conf -f conf/flume-conf.properties

运行结果以下：末尾光标停留

打开新终端，输入telnet IP 端口 或 ncat IP 端口 命令

本文输入命令：telnet 127.0.0.1 44444 输入“hello flume-ng”测试，回车后显示OK。

此时查看/usr/local/flume/flume-1.6.0/logs/flume.log文件。

能够查看代理启动记录和Event事件记录。以下：

日志输出地址由/usr/local/flume/flume-1.6.0/conf/log4j.properties文件定义。