数据预处理之文件转换kettle：去除重复的数据

【实验目的】 利用Kettle的“去除重复记录”组件，实现去除重复数据。 【实验原理】 通过“阻塞数据直到步骤都完成”对多张表格的外键进行排序，然后通过“记录集连接”进行多表连接，再通过“字段选择”选择合适的字段输出到表格。 【实验步骤】 一、创建转换 1．点击，在下拉菜单中点击选择，这样创建了一个转换文件。我们点击，重命名该转换文件，保存在某个指定的路径 2．我们在新建的转换文件上开始可视化编程

>>阅读原文<<