ETL - 实战 Kettle 第三讲

前(fei)言(hua) 在填充数据的时候，如果是测试数据，我们会经常发现有重复数据，这时候我们可以在表输入中，使用 distinct 语句去重，但是如果几行重复数据中，有一些诸如创建时间、更新时间等无关字段不同时，语句去重就达不到目的，这时候，我们就可以用PDI提供的去除重复记录步骤来实现，它的方便不在于能去除重复行数据，甚至可以去重指定字段，你只需在需要去重的步骤后添加即可。 搜索步骤去除重复

>>阅读原文<<