Kettle与Hadoop（一）Kettle简介

时间 2021-07-11 标签基于hadoop生态圈的数据仓库实践

Kettle是一款流行的ETL（Extract-Transform-Load，即数据抽取、转换、装载）工具，并可用来操作Hadoop上的数据。Kettle是用Java语言开发的。它最初的作者Matt Casters原是一名C语言程序员，在着手开发Kettle时还是一名Java小白，但是他仅用了一年时间就开发出了Kettle的第一个版本。虽然有很多不足，但这版毕竟是可用的。使用自己并不熟悉的语言，仅凭一己之力在很短的时间里就开发出了复杂的ETL系统工具，作者的开发能力和实践精神令人十分佩服。后来Pentaho公司获得了Kettle源代码的版权，Kettle也随之更名为Pentaho Data Integration，简称PDI。

一、Kettle设计原则

Kettle工具在设计之初就考虑到了一些设计原则，这些原则也借鉴了以前使用过的其它一些ETL工具积累下的经验和教训。

易于开发

Kettle认为，作为ETL的开发者，应该把时间用在创建应用解决方案上。任何用于软件安装、配置的时间都是一种浪费。例如，为了创建数据库连接，很多和Kettle类似的Java工具都要求用户手工输入数据驱动类名和JDBC URL连接串。尽管用户可以通过互联网都能搜索到这些信息，但这明显把用户的注意力转移到了技术方面而非业务方面。Kettle尽量避免这类问题的发生。

避免自定义开发

一般来说，ETL工具要使简单的事情更简单，使复杂的事情成为可能。ETL工具提供了标准化的构建组件来实现ETL开发人员不断重复的需求。当然可以通过手工编写Java代码或Java脚本来实现一些功能，但增加的每一行代码都给项目增加了复杂度和维护成本。所以Kettle尽量避免手工开发，尽量提供组件及其各种组合来完成任务。

所有功能都通过用户界面完成

Kettle直接把所有功能通过界面的方式提供给用户，节约开发人员或用户的时间。当然专家级的ETL用户还是要去学习隐藏在界面后的一些特性。在Kettle里，ETL元数据可以通过XML格式表现，或通过资源库，或通过使用Java API。无论ETL元数据以哪种形式提供，都可以百分之百通过图形用户界面来编辑。

没有命名限制

ETL转换里有各种各样的名称，如数据库连接、转换、步骤、数据字段、作业等都要有一个名称。如果还要在命名时考虑一些限制（如长度、选择的字符等），就会给工作带来一定麻烦。Kettle具备足够的智能化来处理ETL开发人员设置的各种名称。最终ETL解决方案应该可以尽可能地自描述，这样可以部分减少文档的需求，减少项目维护成本。

透明

Kettle不需要用户了解转换中某一部分工作是如何完成的，但允许用户看到ETL过程中各部分的运行状态。这样可以加快开发速度、降低维护成本。

灵活的数据通道

Kettle从设计初始就在数据的发送、接收方式上尽可能灵活。Kettle可以在文本文件、关系数据库等不同目标之间复制和分发数据，从不同数据源合并数据也是内核引擎的一部分，也同样很简单。

只映射需要映射的字段

在一些ETL工具里经常可以看到数百行的输入和输出映射，对于维护人员来说这是一个噩梦。在ETL开发过程中，字段要经常变动，这样的大量映射也会增加维护成本。Kettle的一个重要核心原则就是，在ETL流程中所有未指定的字段都自动被传递到下一个组件。也就是说输入中的字段会自动出现在输出中，除非中间过程特别设置了终止某个字段的传递。

可视化编程

Kettle可以被归类为可视化编程语言（Visual Programming Languages，VPL），因为Kettle可以使用图形化的方式定义复杂的ETL程序和工作流。Kettle里的图就是转换和作业。可视化编程一直是Kettle里的核心概念，它可以让用户快速构建复杂的ETL作业和降低维护工作量。Kettle中的设计开发工作几乎都可以通过简单的拖拽来完成。它通过隐藏很多技术细节，使IT领域更接近于商务领域。

二、转换

转换（transformation）是Kettle ETL解决方案中最主要的部分，它处理抽取、转换、装载各阶段各种对数据行的操作。转换包括一个或多个步骤（step），如读取文件、过滤输出行、数据清洗或将数据装载到数据库等等。
转换里的步骤通过跳（hop）来连接，跳定义了一个单向通道，允许数据从一个步骤向另一个步骤步骤流动。在Kettle里，数据的单位是行，数据流就是数据行从一个步骤到另一个步骤的移动。

图1显示了一个转换例子，该转换从数据库读取数据并写入文本文件。除了步骤和跳，转换还包括了注释（note）。注释是一个文本框，可以放在转换流程图的任何位置。注释的主要目的是使转换文档化。

1. 步骤

步骤是转换的基本组成部分，它以图标的方式图形化地展现，这里显示了两个步骤，“表输入”和“文本文件输出”。一个步骤有几个关键特性：

步骤需要有一个名字，这个名字在转换范围内唯一。
每个步骤都会读写数据行。
步骤将数据写到与之相连的一个或多个输出跳，再传送到跳的另一端的步骤。对另一端的步骤来说，这个跳就是一个输入跳，步骤通过输入跳接收数据。
步骤可以有多个输出跳。一个步骤的数据发送可以被设置为轮流发送或复制发送。轮流发送是将数据行依次发给每个输出跳，复制发送是将全部数据行发送给所有输出跳。参见“彻底搞清 Kettle 数据分发方式与多线程”
在运行时，一个线程运行一个步骤或步骤的一份拷贝，如图中“表输入”步骤左上角的X4，表示4个线程执行该步骤，数据行将复制4倍。所有步骤的线程几乎同时运行，数据行连续地流过步骤之间的跳。

2. 转换的跳

跳（hop）就是步骤间带箭头的连线，跳定义了步骤之间的数据通路。跳实际上是两个步骤之间的被称为行级（row set）的数据行缓存。行集的大小可以在转换的设置里定义，缺省为10000行。当行集满了，向行集写数据的步骤将停止写入，直到行集里又有了空间。当行集空了，从行集读取数据的步骤停止读取，直到行集里又有可读的数据行。注意，跳在转换里不能循环，因为在转换里每个步骤都依赖于前一个步骤获取字段。

3. 并行

跳的这种基于行集缓存的规则允许每个步骤都由一个独立的线程运行，这样并发程度最高。这一规则也允许以最小消耗内存的数据流的方式来处理。在数据分析中，我们经常要处理大量数据，所以这种并发低耗内存的方式也是ETL工具的核心需求。

对于Kettle转换，不可能定义一个步骤在另一个步骤之后执行，因为所有步骤都以并发方式执行：当转换启动后，所有步骤都同时启动，从它们的输入跳中读取数据，并把处理过的数据写到输出跳，直到输入跳不再有数据，就中止步骤的运行。当所有的步骤都中止了，整个转换就中止了。从功能的角度看，转换具有明确的起点和终点。这里显示的转换起点是“表输入”步骤，因为这个步骤生成数据行。终点是“文本文件输出”步骤，因为这个步骤将数据写到文件，而且后面不再有其它节点。

一方面，可以想象数据沿着转换里的步骤移动，形成一条行头到尾的数据通路。而另一方面，转换里的步骤几乎是同时启动的，所以不可能判断出哪个步骤是第一个启动的步骤。如果想要一个任务沿着指定的顺序执行，那么就要使用后面介绍的“作业”了。

4. 数据行

数据以数据行的形式沿着步骤移动。一个数据行是零到多个字段的集合，字段包括这里所列的几种数据类型。

String：字符类型数据。
Number：双精度浮点数。
Integer：带符号64位长整型。
BigNumber：任意精度数值。
Date：带毫秒精度的日期时间值。
Boolean：取值为true或false的布尔值。
Binary：二进制类型，可以包括图形、音视频或其它类型的二进制数据。

每个步骤在输出数据行时都有对字段的描述，这种描述就是数据行的元数据，通常包括下面一些信息：

名称：行里的字段名应该是唯一的。
数据类型：字段的数据类型。
长度：字符串的长度或BigNumber类型的长度。
精度：BigNumber数据类型的十进制精度。
掩码：数据显示的格式（转换掩码）。如果要把数值型（Number、Integer、BigNumber）或日期类型转换成字符串类型就需要用到掩码。例如在图形界面中预览数值型、日期型数据，或者把这些数据保存成文本或XML格式就需要用到这种转换。
小数点：十进制数据的小数点格式。不同文化背景下小数点符号是不同的，一般是点（.）或逗号（,）。
分组符号（数字里的分割符号）：数值类型数据的分组符号，不同文化背景下数字里的分组符号也是不同的，一般是逗号（,）或点（.）或单引号（'）。
初始步骤：Kettle在元数据里还记录了字段是由哪个步骤创建的。可以让用户快速定位字段是由转换里的哪个步骤最后一次修改或创建。

当设计转换时有几个数据类型的规则需要注意：

行集里的所有行都应该有同样的数据结构。就是说：当从多个步骤向一个步骤里写数据时，多个步骤输出的数据行应该有相同的结构，即字段相同、字段数据类型相同、字段顺序相同。
字段元数据不会在转换中发生变化。就是说：字符串不会自动截去长度以适应指定的长度，浮点数也不会自动取整以适应指定的精度。这些功能必须通过一些指定的步骤来完成。
默认情况下，空字符串被认为与NULL相等，但可以通过一个参数kettle_empty_string_differs_from_null来设置。

5. 数据转换

既可以显式地转换数据类型，如在“字段选择”步骤中直接选择要转换的数据类型，也可以隐式地转换数据类型，如将数值数据写入数据库的varchar类型字段。这两种形式的数据转换实际上是完全一样的，都是使用了数据和对数据的描述。

（1）Date和String的转换

Kettle内部的Date类型里包含了足够的信息，可以用这些信息来表现任何毫秒精度的日期、时间值。如果要在String和Date类型之间转换，唯一要指定的就是日期格式掩码。这里显示的是几个日期转换例子。

转换掩码（格式）	结果
yyyy/MM/dd’T’HH:mm:ss.SSS	2019/12/06T21:06:54.321
h:mm a	9:06 PM
HH:mm:ss	21:06:54
M-d-yy	12-6-19

（2）Numeric和String的转换

Numeric数据（包括Number、Integer、BigNumber）和String类型之间的转换用到的几个字段元数据是：转换掩码、小数点符号、分组符号和货币符号。这些转换掩码只是决定了一个文本格式的字符串如何转换为一个数值，而与数值本身的实际精度和舍入无关。这里显示了几个常用的例子。

值	转换掩码	小数点符号	分组符号	结果
1234.5678	#,###.###	.	,	1,234.57
1234.5678	000,000.00000	,	.	001.234,56780
-1.9	#.00;-#.00	.	,	-1.9
1.9	#.00;-#.00	.	,	1.9
12	00000;-00000			00012

（3）其它转换

最后一个表格提供了Boolean和String之间、整型与日期类型之间数据类型转换的列表。

从	到	描述
Boolean	String	转换为Y或N，如果设置长度大于等于3，转换为true或false
String	Boolean	字符串Y、True、Yes、1都转换为true，其它字符串转换为false（不区分大小写）
Integer	Date	整型和日期型之间转换时，整型就是从1970-01-01 00:00:00 GMT开始计算的毫秒值。
Date	Integer	整型和日期型之间转换时，整型就是从1970-01-01 00:00:00 GMT开始计算的毫秒值。

三、作业

大多数ETL项目都需要完成各种各样的维护任务。例如，当运行中发生错误，要做哪些操作；如何传送文件；验证数据库表是否存在，等等。而这些操作要按照一定顺序完成。因为转换以并行方式执行，就需要一个可以串行执行的作业来处理这些操作。
一个作业包括一个或多个作业项，这些作业项以某种顺序来执行。作业执行顺序由作业项之间的跳（job hop）和每个作业项的执行结果来决定。图2显示了一个典型的装载数据仓库的作业。

1. 作业项

作业项是作业的基本构成部分。如同转换的步骤，作业项也可以使用图标的方式图形化展示。但是，如果再仔细观察，还是会发现作业有一些地方不同于步骤：

新步骤的名字应该是唯一的，但作业项可以有影子拷贝，如图中的“错误邮件”。这样可以把一个作业项放在多个不同的位置。这些影子拷贝里的信息都是相同的，编辑了一份拷贝，其它拷贝也会随之修改。
在作业项之间可以传递一个结果对象（result object）。这个结果对象里包含了数据行，它们不是以流的方式来传递的，而是等一个作业项执行完了，再传递给下一个作业项。
默认情况下，所有的作业项都是以串行方式执行的，只是在特殊的情况下以并行方式执行。

因为作业顺序执行作业项，所以必须定义一个起点，如图中的“start”作业项，就定义了一个起点。一个作业只能定义一个开始作业项。

2. 作业跳

作业的跳是作业项之间的连接线，它定义了作业的执行路径。作业里每个作业项的不同运行结果决定了作业的不同执行路径。对作业项的运行结果的判断如下：

无条件执行：不论上一个作业项执行成功还是失败，下一个作业项都会执行。这是一种黑色的连接线，上面有一个锁的图标，如图2中 “start”到“传送数据”作业项之间的连线。
当运行结果为真时执行：当上一个作业项的执行结果为真时，执行下一个作业项。通常在需要无错误执行的情况下使用。这是一种绿色连接线，上面有一个对钩号的图标，如图2中的横向的三个连线。
当运行结果为假时执行：当上一个作业项的执行结果为假或没有成功时，执行下一个作业项。这是一种红色的连接线，上面有一个红色的叉子图标。

在作业项连接（跳）的右键菜单上，或跳的小图标里都可以设置以上这三种判断方式。

3. 多路径和回溯

Kettle使用一种回溯算法来执行作业里的所有作业项，而且作业项的运行结果（真或假）也决定执行路径。回溯算法就是：假设执行到了图里的一条路径的某个节点时，要依次执行这个节点的所有子路径，直到没有再可以执行的子路径，就返回该节点的上一节点，再反复这个过程。

例如，图3里的A、B、C三个作业项的执行顺序为：

首先“Start”作业项搜索所有下一个节点作业项，找到了“A”和“C”。
执行“A”
搜索“A”后面的作业项，发现了“B”。
执行“B”。
搜索“B”后面的作业项，没有找到任何作业项。
回到“A”，也没有发现其它作业项。
回到“Start”，发现另一个要执行的作业项“C”。
执行“C”。
搜索“C”后面的作业项，没有找到任何作业项。
回到“Start”，没有找到任何作业项。
作业结束。

因为没有定义执行顺序，所以这个例子的执行顺序除了ABC，还可以有CAB。这种回溯算法有两个重要特征：

因为作业可以是嵌套的，除了作业项有运行结果，作业也需要一个运行结果，因为一个作业可以是另一个作业的作业项。一个作业的运行结果，来自于它最后一个执行的作业项。这个例子里作业的执行顺序可以是ABC，也可以是CAB，所以不能保证作业项C的结果就是作业的结果。
作业里允许循环。当在作业里创建了一个循环，一个作业项就会被执行多次，作业项的多次运行结果会保存在内存里，便于以后使用。

4. 并行执行

有时候需要将作业项并行执行。这种并行执行也是可以的。一个作业项能以并发的方式执行它后面的作业项，如图4中上面的作业所示。在这个例子里，作业项A和C几乎同时启动。

需要注意的是，如果A和C是顺序的多个作业项，那么这两组作业项也是并行执行的，如图5所示。

在这个例子中，作业项[A、B、写日志]和[C、D、清空表]是在两个线程里并行执行的。通常设计者也是希望以这样的方式执行。但有时候，设计者希望一部分作业项并行执行，然后再串行执行其它作业项。这就需要把并行的作业项放到一个新的作业里，然后作为另一个作业的作业项，如图6所示。

5. 作业项结果

作业执行结果不仅决定了作业的执行路径，而且还向下一个作业项传递了一个结果对象。结果对象包括了这里所示的一些信息。

一组数据行：在转换里使用“复制行到结果”步骤可以设置这组数据行。与之对应，使用“从结果获取行”步骤可以获取这组数据行。在一些作业项里，如“Shell脚本”、“转换”、“作业”的设置里有一个选项可以循环执行这组数据行，这样可以通过参数化来控制转换和作业。
一组文件名：在作业项的执行过程中可以获得一些文件名。这组文件名是所有与作业项发生过交互的文件的名称。例如，一个转换读取和处理了10个XML文件，这些文件名就会保留在结果对象里。使用转换里的“从结果获取文件”步骤可以获取到这些文件名，除了文件名还能获取到文件类型。“一般”类型是指所有的输入输出文件，“日志”类型是指Kettle日志文件。
读、写、输入、输出、更新、删除、拒绝的行数和转换里的错误数。
脚本作业项的退出状态：根据脚本执行后的状态码，判断脚本的执行状态，再执行不同的作业流程。

JavaScript作业项是一个功能强大的作业项，可以实现更高级的流程处理功能。在JavaScript作业项里，可以设置一些条件，这些条件的结果，可以决定最终执行哪条作业路径。

四、转换或作业的元数据

转换和作业是Kettle的核心组成部分。在介绍Kettle设计原则时曾经讨论过，它们可以用XML格式来表示，可以保存在资料库里，也可以用Java API的形式来表示。它们的这些表示方式，都依赖于这里所列的元数据。

名字：转换或作业的名字，尽管名字不是必要的，但应该使用名字，不论是在一个ETL工程内还是在多个ETL工程内，都应该尽可能使用唯一的名字。这样在远程执行时或多个ETL工程共用一个资源库时都会有帮助。
文件名：转换或作业所在的文件名或URL。只有当转换或作业是以XML文件的形式存储时，才需要设置这个属性。当从资源库加载时，不必设置这个属性。
目录：这个目录是指在Kettle资源库里的目录，当转换或作业保存在资源库里时设置。当保存为XML文件时，不用设置。
描述：这是一个可选属性，用来设置作业或转换的简短的描述信息。如果使用了资源库，这个描述属性也会出现在资源库浏览窗口的文件列表中。
扩展描述：也是一个可选属性，用来设置作业或转换的详细的描述信息。

五、数据库连接

Kettle里的转换和作业使用数据库连接来连接到关系型数据库。Kettle数据库连接实际是数据库连接的描述：也就是建立实际连接需要的参数。实际连接只是在运行时才建立，定义一个Kettle的数据库连接并不真正打开一个数据库的连接。

1. 一般选项

各个数据库的行为都不是完全相同的，如图7所示的Kettle数据库连接窗口里有很多种数据库，而且数据库的种类还在不断增多。
在数据库连接窗口中主要设置三个选项：

连接名称：设定一个在作业或转换范围内唯一的名称。
连接类型：从数据库列表中选择要要连接的数据库类型。根据选中数据库的类型不同，要设置的访问方式和连接参数设置也不同。某些Kettle步骤或作业项生成SQL语句时使用的方言也不同。
访问方式：在列表里可以选择可用的访问方式，一般都使用JDBC连接。不过也可以使用ODBC数据源、JNDI数据源、Oracle的OCI连接（使用Oracle命名服务）。

根据选择的数据库不同，右侧面板的连接参数设置也不同，例如图7中，只有Oracle数据库可以设置表空间选项。一般常用的连接参数为：

主机名：数据库服务器的主机名或IP地址。
数据库名：要访问的数据库名。
端口号：默认是选中的数据库服务器的默认端口号。
用户名和密码：连接数据库服务器的用户名和密码。

2. 特殊选项

对于大多数用户来说，使用数据库连接窗口的“一般”标签就足够了。但偶尔也可能需要设置对话框里的“高级”标签的内容，如图8所示。

支持Boolean数据类型：对Boolean（bit）数据类型，大多数数据库的处理方式都不相同，即使同一个数据库的不同版本也可能不同。许多数据库根本不支持Boolean类型。所以默认情况下，Kettle使用一个char(1)字段的不同值（如Y或N）来代替Boolean字段。如果选中了这个选项，Kettle就会为支持Boolean类型的数据库生成正确的SQL方言。
双引号分割标识符：强迫SQL语句里的所有标识符（如列名、表名）加双引号，一般用于区分大小写的数据库，或者怀疑Kettle里定义的关键字列表和实际数据库不一致。
强制转为小写：将所有表名和列名转为小写。
强制转为大写：将所有表名和列名转为大写。
默认模式名：当不明确指定模式名时默认的模式名。
连接后要执行的SQL语句：一般用于建立连接后，修改某些数据库参数，如Session级的变量或调试信息等。

除了这些高级选项，在连接对话框的 “选项”标签下，还可以设置数据库特定的参数，如一些连接参数。为了便于使用，对于某些数据库（如MySQL），Kettle提供了一些默认的连接参数和值。有几种数据库类型，Kettle还提供了连接参数的帮助文档，通过单击“选项”标签中的“帮助”按钮可以打开对应数据库的帮助页面。

最后，还可以选择Apache的通用数据库连接池的选项。如果运行了很多小的转换或作业，这些转换或作业里又定义了生命期短的数据库连接，连接池选项就显得有意义了。连接池选项不会限制并发数据库连接的数量。

3. 关系数据库的力量

关系数据库是一种高级的软件，它在数据的连接、合并、排序等方面有着突出的优势。和基于流的数据处理引擎，如Kettle相比，它有一大优点：数据库使用的数据都存储在磁盘中。当关系型数据库进行连接或排序操作时，只要使用这些数据的引用即可，而不用把这些数据装载到内存里，这就体现出明显的性能方面的优势。但缺点也是很明显的，把数据装载到关系数据库里也会产生性能的瓶颈。
对ETL开发者而言，要尽可能利用数据库自身的性能优势，来完成连接或排序这样的操作。如果不能在数据库里进行连接这样的操作，如数据的来源不同，也应该现在数据库里排序，以便在ETL里做连接操作。

4. 连接和事务

数据库连接只在执行作业或转换时使用。在作业里，每一个作业项都打开和关闭一个独立的数据库连接。转换也是如此。但是因为转换里的步骤是并行的，每个步骤都打开一个独立的数据库连接并开始一个事务。尽管这样在很多情况下会提高性能，但当不同步骤更新同一个表时，也会带来锁和参照完整性问题。
为了解决打开多个连接而产生的问题，Kettle可以在一个事务中完成转换。在转换设置对话框的 “杂项”标签中，设置“使用唯一连接”，可以完成此功能。当选中了这个选项，所有步骤里的数据库连接都使用同一个数据库连接。只有所有步骤都正确，转换正确执行，才提交事务，否则回滚事务。

5. 数据库集群

当一个大数据库不再满足需求时，就会考虑用很多小的数据库来处理数据。通常可以使用数据库分片技术来分散数据装载。这种方法可以将一个大数据集分为几个数据分区（或分片），每个分区都保存在独立的数据库实例里。这种方法的优点显而易见，可以大幅减少每个表或每个数据库实例的行数。所有分片的组合就是数据库集群。
一般采用标识符计算余数的方法来决定分片的数据保存到哪个数据库实例里。这种分片计算方法得到的分片标识是一组0到“分片数-1”之间的数字，可以在数据库连接对话框的“集群”标签下设置分区数。例如，定义了五个数据库连接作为集群里的五个数据分片。可以在“表输入”步骤里执行一个查询，这个查询就以分区的方式执行：同样的一个查询会被执行五遍，每个数据分区执行一遍。在Kettle里，所有使用数据库连接的步骤都可以使用分片的特性。例如，表输出步骤在分片模式下会把不同的数据行输出到不同的数据分区（片）中。参见“Kettle数据库连接中的集群与分片”

六、工具

Kettle里有不同的工具，用于ETL的不同阶段。主要工具包括：

Spoon：是图形化工具，用于快速设计和维护复杂的ETL工作流。
Kitchen：运行作业的命令行工具。
Pan：运行转换的命令行工具。
Carte：轻量级Web服务器，用来远程执行转换或作业，一个运行有Carte进程的机器可以作为从服务器，从服务器是Kettle集群的一部分。

参见“Kettle工具——Spoon、Kitchen、Pan、Carte”。

七、资源库

当ETL项目规模比较大，有很多ETL开发人员在一起工作，开发人员之间的合作就显得很重要。Kettle以插件的方式灵活定义不同种类的资源库，但不论是哪种资源库，它们的基本要素是相同的：这些资源库都使用相同的用户界面、存储相同的元数据。目前有3种常见资源库：数据库资源库、Pentaho资源库和文件资源库。

数据库资源库：数据库资源库是把所有的ETL信息保存在关系数据库中，这种资源库比较容易创建，只要新建一个数据库连接即可。可以使用“数据库资源库”对话框来创建资源库里的表和索引。
Pentaho资源库：Pentaho资源库是一个插件，在Kettle的企业版中有这个插件。这种资源库实际是一个内容管理系统（CMS），它具备一个理想的资源库的所有特性，包括版本控制和依赖完整性检查。
文件资源库：文件资源库是在一个文件目录下定义一个资源库。因为Kettle使用的是Apache VFS虚拟文件系统，所以这里的文件目录是一个广泛的概念，包括zip文件、Web服务、FTP服务等。

无论哪种资源库都应该具有下面的特性：

中央存储：在一个中心位置存储所有的转换和作业。ETL用户可以访问到工程的最新视图。
文件加锁：防止多个用户同时修改。
修订管理：一个理想的资源库可以存储一个转换或作业的所有历史版本，以便将来参考。可以打开历史版本，并查看变更日志。
依赖完整性检查：检查资源库转换或作业之间的相互依赖关系，可以确保资源库里没有丢失任何链接，没有丢失任何转换、作业或数据库连接。
安全性：安全性可以防止未授权的用户修改或执行ETL作业。
引用：重新组织转换、作业，或简单重新命名，都是ETL开发人员的常见工作。要做好这些工作，需要完整的转换或作业的引用。

八、虚拟文件系统

灵活而统一的文件处理方式对ETL工具来说非常重要。所以Kettle支持URL形式的文件名，Kettle使用Apache的通用VFS作为文件处理接口，替用户解决各种文件处理方面的复杂情况。例如，使用Apache VFS可以选中.zip压缩包内的多个文件，和在一个本地目录下选择多个文件一样方便。这里显示的是VFS的一些典型的例子。

文件名例子	描述
文件名：/data/input/customets.dat	这是最典型的定义文件的方式
文件名：file:///data/input/customers.dat	Apache VFS可以从本地文件系统中找到文件
作业：http://www.kettle.be/GenerateRows.kjb	这个文件可以加载到Spoon里，可以使用Kitchen执行，可以在作业项里引用。这个文件通过Web服务器加载
目录：zip:file:///C:/input/salesdata.zip 通配符：.*\.txt$	在“文本文件输入”这样的步骤里可以输入目录和文件通配符。例子里的文件名和通配符的组合将查找zip文件里的所有以.txt结尾的文件