flume传数据到hdfs

背景:flume可以实时的收集文件并传到hdfs上,它是一个高可靠的,分布式的海量日志采集、聚合和传输的系统。它可实现流式处理。自动故障转移。 1.首先安装好flume,因为是flume用java写的,所以要配置下jdk 2.运行时只要写好配置文件,agent.conf,然后用命令运行就行了 flume有三个组件source、channel、sink在agent.conf里需要配置好这3个组件。他
相关文章
相关标签/搜索