Flink DataStream流表与维表Join(Async I/O)

在Flink 流处理过程当中,常常须要和外部系统进行交互,如维度补全,用维度表补全事实表中的字段。默认状况下,在MapFunction中,单个并行只能用同步方式去交互: 将请求发送到外部存储,IO阻塞,等待请求返回,而后继续发送下一个请求。这种同步交互的方式每每在网络等待上就耗费了大量时间。为了提升处理效率,能够增长MapFunction的并行度,但增长并行度就意味着更多的资源,并非一种很是好的解
相关文章
相关标签/搜索