streamsets 丢踢无关数据

对于不须要的数据,streamsets 能够方便的设置丢踢,咱们能够经过定义require 字段或者前置条件进行配置html

require(必须字段)

必须字段是必须存在一条record 中的,对于不存在的,系统根据配置的error 处理规则进行处理,require 字段
能够在processor executor destinnation 阶段进行定义ide

前置条件

前置条件是用来限制record 必须知足处理的条件,前置条件能够定义在processor executor destination 阶段,同
时能够好似哦要哪一个functions pipeline 常量以及运行时属性
参考:ui

${record:value('/COUNTRY')=='UD'}

参考资料

https://streamsets.com/documentation/datacollector/latest/help/datacollector/UserGuide/Pipeline_Design/DroppingUnwantedRecords.html#concept_ejl_lpy_btcode

相关文章
相关标签/搜索