Flink消费Kafka数据,写入HDFS - 使用 StreamingFileSink

1、应用场景: Flink 消费 Kafka 数据进行实时处理,并将结果写入 HDFS。html 2、Streaming File Sink 因为流数据自己是无界的,因此,流数据将数据写入到分桶(bucket)中。默认使用基于系统时间(yyyy-MM-dd--HH)的分桶策略。在分桶中,又根据滚动策略,将输出拆分为 part 文件。java 一、Flink 提供了两个分桶策略,分桶策略实现了 ap
相关文章
相关标签/搜索