大数据第九课-Flume的安装和使用

1、Flume的安装

==Flume安装很简单，解压好基本上就可使用==

一、下载安装包

http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.14.2.tar.gz

flume-ng-1.6.0-cdh5.14.2.tar.gz

二、规划安装目录

/kkb/install

三、上传安装包到服务器

四、解压安装包到指定的规划目录

tar -zxvf flume-ng-1.6.0-cdh5.14.2.tar.gz -C /kkb/install

五、重命名解压目录

mv apache-flume-1.6.0-cdh5.14.2-bin flume-1.6.0-cdh5.14.2

六、修改配置

进入到flume安装目录下的conf文件夹中

先重命名文件

mv flume-env.sh.template flume-env.sh

修改文件，添加java环境变量

 vim flume-env.sh

export JAVA_HOME=/kkb/install/jdk1.8.0_141

2、Flume的使用

一、监控本地的文件修改状况，并将其在控制台输出                     

     （单机安装Flume，不须要启动HDFS）

二、监控本地的文件修改状况，将其按照格式存入HDFS上       

    （单机安装Flume，   须要启动HDFS）

三、监控某目录文件修改状况，将其按照格式存入HDFS上          

  （单机安装Flume，   须要启动HDFS）

四、监控 A 机器上的文件修改状况，同网络与 B 机器上的flume级联，B机器接收A机器的信息并传输到HDFS上

  （A，B 机器安装Flume，   须要启动HDFS）

五、故障转移　　  （当监控中的一台机器故障后，另外一台机器自动接替工做）

六、负载均衡         （经过多台机器 轮流 去监控某目录下的信息）

七、静态拦截器　  （监控多台电脑指定目录的修改信息，经过另外一台机器 存储到HDFS的指定目录上）

八、自定义拦截器  （按照需求将不须要显示的内容按照编码掩盖）

九、自定义Source （监控数据库，将修改信息发送到本机控制台）

十、自定义Sink   （监控本地文件，将修改信息发送给MySQL数据库）

flume的指令在实际运用时须要在后台执行（nohup）