kettle-数据源配置化-开发、生产采用不一样配置

数据etl经常使用工具kettle。

 

一、说明：

kettle-数据源配置化：是指kettle的数据源链接信息所有或者部分从配置文件中读取（若是是数据库的资源库，那么资源库也能够配置化）。

 

二、优势：

       一、这样程序自己就和kettle的业务解绑了，开发、生产采用不一样配置；每次开发完成就能够直接导入线上，不再用手动去修改链接信息（少改少错，不改就不错）。

       二、能够对开发人员保密线上的链接信息，保证数据安全。

 

在开发和部署的时候不用再关心线上、开发、测试环境的数据源不同，每次上线须要手动修改的麻烦。 

 

 

三、资源库的方式有2种：

                  (1)、文件方式。方便迁移、分布式环境下须要本身解决文件同步。

                  (2)、数据库方式。会有数据库锁的问题。不用维护文件同步问题。集群部署支持好。

                  (3)、读取配置文件的方式，对上面2中资源库类型都是支持的，没有影响。

                          数据库方式的资源库中的数据源链接信息，也能够从配置文件读取（共享的数据源、非共享的数据源均可以）。

 

 

 四、kettle配置文件的位置：

               windows 默认在：C:\Users\用户\.kettle

               linux 默认在：/root/.kettle/

 

 五、配置文件：

               下图是kettle的三个核心配置文件。依次是配置信息文件、资源库配置文件、共享数据源配置文件

 

 

 

 六、咱们在kettle界面上看看具体的配置是怎么样的

(1)、资源库的链接信息：从配置文件中读取

 

 

 (2)、数据源的链接信息：从配置文件中读取

 

 

 (3)、hadoop的链接信息：从配置文件中读取

 

 

 

 

七、下面分别看一下三个文件的内容

(1)、配置信息文件

这里特别说明：配置好以后，线上、线下只有这个配置文件的内容不同。其余配置都是同样的。这样在开发好以后能够直接导入线上。连数据源、资源库的链接名都不用改。

 

(2)、资源库配置文件

 

 

(3)、共享数据源配置文件

若是没有配置共享数据源，则这个文件是空的，若是有，跟上图的链接信息相似。