1、 kettle开发、上线常见问题以及防错规范步骤

 此篇说明对应的kettle版本是6.1，实际使用时7.x应该也是同样的。

1、    kettle开发流程（规范步骤，防止出错）

(一)       Kettle设置检查

资源库链接

若是不加一下配置项，数据转换后中文会出现乱码，很难处理。

 

 

本地链接资源库：配置项

defaultFetchSize 500

useCursorFetch true

characterEncoding UTF-8

useUnicode true

 

 

(二)       Kettle注意事项

一、每一个trans、jobs的名称都应该和文件名一致。在使用资源库的时候，不是按照文件名生成对象，而是按照名称属性生成。｛因此若是有名称属性相同的就会冲突｝

 

 

 

 

 

 

二、资源库方式trans相对job的位置只能经过图中下面的一种方式（相对位置）。而不能经过设置trans文件位置的方式（由于是资源库，并非真的文件）。

 

 

 

 

(三)       资源库方式开发

一、从线上导出一个job（包含了数据库的链接等信息），直接导出成整资源库的文件。

二、把这个文件资源库导入到03测试库。

三、把这个数据库链接信息dataCenters对应的ip改为04上的开发库（只改一个ip,其余链接信息是一致的）。

四、在这个库上进行相关开发操做。

 

 

2、    上线流程

五、开发完成须要上线，直接把前面的资源库的ip地址换成线上ip地址便可。

六、把开发库上其余的东西都删掉，只保留新开发的内容。

七、而后导出成整个文件的资源库。把这个文件资源库导入到线上。

 

(一)       安全流程

为了防止开发过程中忘了改ip地址，直接连到生产库去，或者把生产库上的链接地址冲掉了。这里加上一个流程：

每次开发：从线上导资源库到本地先导入到03的预发布库去。改完ip地址再导入到04的开发库去。

 

每次上线的话：反过来。先导入到03库，删除没必要要的东西，改完ip地址再导入到线上环境。

 

 

(二)       验证流程

因为kettle的特殊性。须要在任何改动后作验证。

一、 每次修改、新增了kettle任务。必需要把job、trans都一步一步点开。查看是否能在job里顺利找到子trans。同时查看数据库链接信息是否正确（有没有被开发库的设置冲掉）。

二、 给发新增的任务（job或者trans）在jenkins中增长对应的调度。（这里建议调度名称和调度要生成数据的表名一致）要有详细的备注。

四、 每次修改、新增了kettle任务以后，都要在表结构同步好以后，jenkins中先构建一次任务，看看kettle任务是否可以执行成功。

五、 任务跑成功以后，要连到生产库查看对应数据是否正确。

六、 启动web后要点开相应功能查看web展现上是否正确。

 

 

(三)       迁移注意事项

 

若是是新部署的kettle

 

kettle的资源库，须要用图形界面打开，手动再设置一遍（要先删除/root/.kettle/目录下的配置文件，从新配置；而后会从新生成配置文件，这时才能正确连上资源库）