Flume(03)——Flume采集案例

1 采集目录到HDFS 需求分析 采集需求:某服务器的某特定目录/export/servers/dirfile下,会不断产生新的文件,每当有新文件出现,就需要把文件采集到HDFS中去。 需求分析: 通过flume采集数据,最重要的就是配置三大组件。 这里可以通过source来监控文件目录。 通过channel,来将source采集到的内容发送到sink 通过sink,将文件上传到HDFS文件系统。
相关文章
相关标签/搜索