引：
ods有个project表来自于上游系统，数据量不大 十几万，下游系统需要此数据，并且需要天天提供截止当天的增量数据 要求每条数据给出数据变化时间及标示，即数据如果插入 有插入时间和插入标示 如果改动 有改动时间和改动标示 如果删除需逻辑删除、有删除标示且有删除时间
解决：
kettle的转换ktr里有一个图元叫作合并记录。可以把两个表输入分为源和目的依据惟一标示 进行全量比对。由此。咱们获得增量的数据流，再写入到RDBMS里，即可以实现该需求。实现功能的ktr例如如下图：
ods有个project表来自于上游系统，数据量不大 十几万，下游系统需要此数据，并且需要天天提供截止当天的增量数据 要求每条数据给出数据变化时间及标示，即数据如果插入 有插入时间和插入标示 如果改动 有改动时间和改动标示 如果删除需逻辑删除、有删除标示且有删除时间
解决：
kettle的转换ktr里有一个图元叫作合并记录。可以把两个表输入分为源和目的依据惟一标示 进行全量比对。由此。咱们获得增量的数据流，再写入到RDBMS里，即可以实现该需求。实现功能的ktr例如如下图：
1 输入源 合并记录
上图。
最左側是两个表输入，上面一个cpmis 是上游系统 如下一个被 merge rows挡住了。名字是odso
cpmis
SELECT
ITEMID,
ITEMCODE,
ITEMPLANCODE,
ITEMNAME,
DEMANDID,
ITEMPROPERTY,
COMPANYID,
MANAGELEVELID,
SPECIALSMALLTYPEID,
PLANTYPEID,
CONSTRUCTPROPERTYID,
AREAID,
ASSISTANTTYPEID,
CONSTRUCTTYPEID,
FEEDEPARTMENTID,
..... FROM PROJECT_AH.ITEMINFO order by ITEMID
odso
SELECT
ITEMID,
ITEMCODE,
ITEMPLANCODE,
ITEMNAME,
DEMANDID,
ITEMPROPERTY,
COMPANYID,
MANAGELEVELID,
SPECIALSMALLTYPEID,
PLANTYPEID,
CONSTRUCTPROPERTYID,
AREAID,
ASSISTANTTYPEID,
CONSTRUCTTYPEID,
FEEDEPARTMENTID,
..... FROM odso.ITEMINFO order by ITEMID
2 值映射
例如如下图， 将输入源与目的源的每个字段数据依据惟一字段比較后 到值映射图元，使用字段名 为起的后面用到的一个变量名（可随意起）。源值列为系统默认
1 表明输入源与目标源比較后删除的数据标志 2 是输入源新增 3 是输入源更新 4是不变 目标值 是本身起的名字 可以依据需要不变 或改动
3 第一次过滤无效记录
例如如下图，条件 flagfield is not null （后面没显示完），若条件成立发送给下一步zh_check_date，若不成立发送给空操做。
4 新增数据推断add2
例如如下图，zh_check_date 为获取当前的系统时间变量。
add2 图元打开为 画圈的图 左側的地方 ，条件 flagfield = add_rec ，若成立及发送数据到中间画圈的add图元，若不成立则 发送数据到mod_del图元 （矩形红框） 若是为true数据到 add图元，打开 便是下图右側 部分 填写需要插入的数据字段 再到insert图元 ，就能够把输入源比目标源多的新数据更新到目标表来 并且加上时间戳。sql
5 改动或删除 mod_rec
例如如下图，若是数据从add2发送而来。 打开矩形框 mod_del 条件flagfield = mod_rec 若true 则发送到 update mapping 若flase 则发送到delete mappinig 。若是是更新，则右側 的查询keyword 是 更新的比較字段 便是一開始合并记录的比較字段 ，更新字段就是 除了比較字段以外的其它字段。这样数据就可以从 输入源更新到目标源。
6 删除数据 delete mapping
例如如下图。若是数据流到了 delete mapping 。则 仅仅需要依据比較字段把 目标表的时间戳更新 和 状态更新为del_rec就能够，下图zh_check_type 为flag_field的值app
7 数据结果
zh_check_type 和check_date已更新为