Flume监听文件夹中的文件变化,并把文件下沉到hdfs

一、采集目录到HDFS 采集需求:某服务器的某特定目录下,会不断产生新的文件,每当有新文件出现,就须要把文件采集到HDFS中去 根据需求,首先定义如下3大要素 采集源,即source——监控文件目录 : spooldir 下沉目标,即sink——HDFS文件系统 : hdfs sink source和sink之间的传递通道——channel,可用file channel 也能够用内存channel
相关文章
相关标签/搜索