streamsets 数据流设计

streamsets 支持branch（分支）&& merge（合并）模式的数据流

branch 数据流

以下图：
咱们能够根据数据包含的字段进行拆分，不一样的数据流处理本身关注的数据

merge 合并数据流

以下图：
能够将多个数据流，发送到同一个stage（阶段），可是不是进行数据的合并，数据的处理须要其余的组件（stage）处理，注意，pipeline
的校验，不进行重复数据的处理，这个须要本身进行处理逻辑的配置，同时event stream 是没法进行合并的，具体能够参考
Dataflow Triggers Overview

参考资料

https://streamsets.com/documentation/datacollector/latest/help/datacollector/UserGuide/Pipeline_Design/DesigningDataFlow.html#concept_ad4_gpy_bt