Kettle学习总结（一）

最近因为项目的须要，初步涉及到了Kettle的使用，如今将这两周本身使用kettle开发JOB的心得整理一下，与你们一块儿分享。

 

1、kettle是什么

Kettle是个ETL工具，主要用来管理不一样数据来源的数据，按照必定的方式流出来，最经常使用的状况，不一样系统之间数据的传递，可使用kettle制做转换JOB来完成。目前因为是纯JAVA语言编写，因此与Java兼容性最好。

Kettle主要包括四个部分：Spoon、Pan、Kitchen以及CHEF；本次总结主要涉及到Spoon和Kitchen，这两个运用比较普遍。其中：Spoon是核心的图形化处理界面，经过拖拽组件，配置组件来完成一系列数据流的转换，Kitchen目前主要是制做bat文件来批处理一些列的JOB，好比说windows系统下的定时任务。

 

2、Kettle的两种脚本文件

一、transformation：完成针对数据的基础转换。

二、job：完成对整个工做流的控制。

3、资源库的配置（基于4.4.0版本）

资源库主要做用是用来存放在kettle工具上编写的转换和job的。

资源库主要分为两种：

        Kettle database repository

        Kettle file reposity

一个是数据资源库：将编写的转换和job存放在数据资源库中的对应的表里面，这些表在你配置好数据库资源库时会出现一个执行建立表的sql语句，执行这些sql语句就会完成表的建立。大部分都是建立数据资源库的

另外一个是文件资源库：将编写的转换和job存放在文件里面，运用不是很普遍。

下面主要讲解一下MySQL的资源数据库的配置（Oracle配置比较简单,配置的步骤大致相同，并且MySQL这里，对应的资源库表建立有点BUG）

一、点击如图按钮，进入资源库配置界面

二、选择第一个数据库资源配置，点击肯定，在出现的界面中选择新建资源数据库

三、配置数据库以下：其中kettle自己自带是没有数据的驱动jar包的， 因此须要手动将jar放置在kettle安装文件的的目录下（D:\Tools\Kettle\data-integration\lib），最后点击Test来测试是否链接成功。

四、若是数据库链接成功的话，直接点击OK键，进行数据库资源表的建立。

五、这里点击建立或者更新，会出现一个弹跳框，框子里面是建立表的sql语句，这里咱们不执行，将这些sql语句粘贴复制到数据库处理工具上，直接在数据库中运行（MySQL的建立表的语句在kettle上使用会先报错的，而在数据库中直接运行则不会，另外目前就发现MySQL有这种状况，Oracle则没有）

六、登录资源数据库，默认的用户名和密码是admin和admin

七、至此资源数据库的配置完成。