一 引擎(执行转换及做业的两个main类)html
1 数据如何封装java
2 转换及做业的区别,与ESB引擎的区别web
★(1)转换的性质: 架构
节点链接决定了贯穿在步骤之间的数据流，步骤之间的顺序不是转换执行的顺序。当执行一个转换时，每一个步骤都以本身的线程启动，并不断的接受和推送数据。并发
注意：全部的步骤是同步开启和运行的，全部步骤的初始化的顺序是不可知的。由于咱们不能在第一个步骤中设置一个变量，而后在接下来的步骤中使用它。app
在一个转换中，一个步骤能够有多个链接，数据流能够从一个步骤流到多个步骤。在Spoon中，hops就想是箭，它不只容许数据从一个步骤流向另外一个步骤，也决定了数据流的方向和所经步骤。若是一个步骤的数据输出到了多个步骤，那么数据既能够是复制的，也能够是分发的。负载均衡
转换文件的扩展名是.ktrwebapp
★(2)做业的性质: ide
Jobs（工做）是基于工做流模型的，协调数据源、执行过程和相关依赖性的ETL活动源码分析
工做文件的扩展名是.kjb
3 事务与并发的实现
4 运行引擎的实现逻辑
二 设计器(生成转换或做业提交到资源库或保存到文件)
1 生成的转换或做业资源的格式
2 上下节点的类型如何复用
3 如何快速地经过UI找到对应的实现类
4 插件的架构体系
三 资源库
1 资源库的部署及管理方式
四 集群架构与产品形态
1 产品形态
2 集群部署
3 如何实现负载均衡
五 kettle管控API
六 kettle日志系统
七 kettle构建原理,ivy知识相关
八 杂项:
/carte启动时会读取启动路径下的repository.xml文件,若是当前路径没骨,则读取.kettle目录下面的. carte的转换或做业里会使用资源库的名字,因此在repository.xml文件里必须要有一个对应的资源库的名字.通常是将.kettle中的copy的carte启动路径下.
/kettle元数据
/源码分析:
1 Pentahon XUL Framework
2 平台扩展与插件扩展的区别与联系
/扩展kettle
/....no better than....:前面的不如后面的
http://f.dataguru.cn/thread-185101-1-1.html 插件开发网上资料
/帮助文档:
(1)核心插件
(2)外部插件
(3)产品包相对位置可否访问
(4)连接可否访问
文档编写尝试: 锚,用esb文档尝试
MQ:
/网站资料
http://www-01.ibm.com/support/knowledgecenter/SSFKSJ_7.0.1/com.ibm.mq.csqzaw.doc/ja10290_.htm?cp=SSFKSJ_7.0.1%2F0-25-4-0-3&lang=en
/关于SSL
If you require SSL connections to use cryptographic modules that have been FIPS 140-2 certified, you need the IBM® Java JSSE FIPS provider (IBMJSSEFIPS). Every IBM JDK and JRE at Version 1.4.2 or later contains IBMJSSEFIPS.
/WMQ java API 相关jar
(1)WebSphere MQ classes for Java are contained in the Java archive (JAR) files, com.ibm.mq.jar, and com.ibm.mq.jmqi.jar.
(2)Support for standard message headers, such as Programmable Command Format (PCF), is contained in the JAR file com.ibm.mq.headers.jar.
(3)Support for Programmable Command Format (PCF) is contained in the JAR file com.ibm.mq.pcf.jar.
(4)sample: The sample application called Postcard is in the JAR file com.ibm.mq.postcard.jar. For more information about this application, see the Quick Beginnings information for your operating platform.
(5)Installation directories for WebSphere MQ classes for Java
HP-UX, Linux, and Solaris/opt/mqm/java/lib
Windows
install_dir\Java\lib (32 bit libraries)
install_dir\Java\lib64 (64 bit libraries)
(6)ample applications
HP-UX, Linux, and Solaris/opt/mqm/samp/wmqjava/
Windowsinstall_dir\tools\wmqjava\
/相关问题：
./queue manager - server connection channel - a listener program
./链接权限问题: user ID ...
The authority to connect to the queue manager, and the authority to inquire on the attributes of the queue manager object
The authority to put messages on the queue SYSTEM.DEFAULT.LOCAL.QUEUE, and the authority to get messages from the queue
./trace facility
http://www-01.ibm.com/support/knowledgecenter/SSFKSJ_7.0.1/com.ibm.mq.csqzaw.doc/ja10420_.htm?cp=SSFKSJ_7.0.1%2F0-25-4-2-2&lang=en
./MQProcess
http://www-01.ibm.com/support/knowledgecenter/SSFKSJ_7.0.1/com.ibm.mq.javadoc.doc/WMQJavaClasses/com/ibm/mq/MQProcess.html?lang=en
/接口文档
http://www-01.ibm.com/support/knowledgecenter/SSFKSJ_7.0.1/com.ibm.mq.javadoc.doc/WMQJavaClasses/index.html?cp=SSFKSJ_7.0.1%2F0-25-4-6&lang=en
/试用版下载:
https://www14.software.ibm.com/webapp/iwm/web/pick.do?source=ESD-WSMQ-EVAL&S_PKG=CR9H9ML&S_TACT=109J84RW&lang=en_US
/发布与订阅学习:
./
非持久订阅会在应用程序关闭,或者订阅关闭,过时,被删,或者QM中止或重启时失效
./
MQSO_MANAGERD: 动态建立与订阅持久性一致的订阅队列,队列名包含时间戳，不会重名
★: 若是像AMQ输入同样,须要指定订阅队列,那么就与访问普通队列同样了,主题订阅的意义就没了
./
建立持久订阅须要指定一个订阅名,当要resume一个持久订阅时,使用MQSO_RESUME选项
★在建立持久订阅时指定MQSO_PUBLICATIONS_ON_REQUEST,使得只在订阅者请求订阅时,发布的消息才能转发到订阅队列
./
非持久订阅的周期是应用程序与QM的链接周期
当应用程序与QM断连后,存在于订阅队列的消息取决如下面两种状况:
(1)若是使用Managed queue,那么会被消除
(2)若是建立非持久订阅时指定订阅队列句柄,那么消息还会保留在指定的订阅队列里
★建立非持久订阅不须要订阅名
./
topic string 和 topic object:
(1)二者关系: topic stirng + / + object string = topic name
(2)topic stirng 是能够用通配符的,应该是已存在的,能够为空
(3)object string 不能够用通配符,应该是由应用程序提供,也能够为空
★好像说是建立发布与建立订阅都会自动生成主题
./
administrative topic object
用于对特定的主题节点进行管理,由于若是不建立主题对象,那么主题节点的属性都是继承于SYSTEM.BASE.TOPIC的
★而且,topic object的名字可于与主题字符串/主题名等价地使用,好比说指定对应的主题
详细见下:
连接: http://pan.baidu.com/s/1pJyUsdl
一 需求分析:
1 源表列: 更新时间戳(必需,可能为timestamp或datetime类型), 插入时间戳(可选,用于区分记录变化是插入仍是更新), 逻辑删除字段(可选,用于识别记录是否被逻辑删除)
2 界面:
(1)提供一张源表
(2)指定增量状态表
(3)配置主键字段
(4)配置更新时间戳字段
(5)可选配置插入时间戳字段
(6)可选配置逻辑删除字段
(7)是否修改主键
■4 后台初始化:
■3 后台执行: 从源表中捕获变化数据记录,并给记录增长操做字段:
(1)