Flink -- window数据倾斜 解决思路

这里阐述一下Flink中 window间的数据倾斜的解决思路,不做代码展现 场景:       分项目统计某个时间粒度的pv数据 数据情况: 每个项目的数据量不同,某个项目的数据量很大,导致这个项目的窗口中的数据很大,发生倾斜   解决思路: 思路一:       针对window原始方式中在窗口触发前,是以数据积攒的方式进行的。所以针对这种方式可以在window后跟一个reduce方法,在窗口触
相关文章
相关标签/搜索