流式处理框架的特点

分布式的流处理是对无界的数据集进行连续不断的处理,聚合,分析的过程。延迟需要尽可能的低(毫秒级或秒级)。这类框架通常采用有向无环图(DAG)来描述和处理作业拓扑。(线性处理也是一种DAG)。他们一般会抽取此类系统的底层通用模型,保证其易用性,健壮性和可扩展性。让开发者专注于业务实现。 流式处理框架一般会包含如下特点: 消息传输正确性保证:此类保障有三种: At Most Once:在框架中每条消息
相关文章
相关标签/搜索