Flink读取kafka数据并以parquet格式写入HDFS

大数据业务场景中,常常有一种场景:外部数据发送到kafka中,flink做为中间件消费kafka数据并进行业务处理;处理完成以后的数据可能还须要写入到数据库或者文件系统中,好比写入hdfs中; 目前基于spark进行计算比较主流,须要读取hdfs上的数据,能够经过读取parquet:spark.read.parquet(path)java 数据实体:web public class Prti {
相关文章
相关标签/搜索