kettle 开源etl数据抽取工具

1.为何要使用数据抽取

（1）为了避免妨碍业务数据的读取和写入，须要进行数据的抽取，抽取到另外数据库表进行读取
（2）对某些总计数据能够进行预先计算， 抽取到另外数据库表
（3）随访业务数据库为mongodb , 统计程序编程效率低，须要转成sql 类数据库提升效率

2.工具

使用 kettle 开源etl工具
网址：http://community.pentaho.com/projects/data-integration/

3.使用方法

整体来说，就是这么个步骤：
选择数据输入——中间数据处理——最后数据输出

好比从mongodb 同步到 sqlserver过程以下：

（1）选择核心对象中的bigdata MongoDB Input (数据输入)

(2)进行数据处理 （这里筛选了须要抽取的字段）

（3）选择插入更新输出

4.总结

数据输入的形式不少，各类形式的数据均可以作为一手数据源， kettle 数据转换的功能也很强大， 还能够进行 java ,javascript 等脚本的编写来进行高级的数据处理， 最后获得须要的数据。
相比其余开源的etl工具和其余商业的etl工具，对比下来 kettle仍是比较强大和好用。