字节跳动 Flink 单点恢复功能实践

背景 在字节跳动的实时计算场景中,我们有很多任务(数量 2k+)会直接服务于线上,其输出时延和稳定性会直接影响线上产品的用户体验,这类任务通常具有如下特点: 流量大,并发高(最大的任务并行度超过 1w) 拓扑类似于多流 Join,将各个数据源做整合输出给下游,不依赖 Checkpoint 没有使用 Checkpoint 并且对短时间内的小部分数据丢失不敏感(如 0.5%),但对数据输出的持续性要求
相关文章
相关标签/搜索