概述
ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于企业或行业应用来讲，咱们常常会遇到各类数据的处理，转换，迁移，因此了解并掌握一种etl工具的使用，必不可少。最近用kettle作数据处理比较多，因此也就介绍下这方面内容，这里先对比下几款主流的ETL工具。java
一、DataPipeline
Data Pipeline是一家为企业用户提供数据基础架构服务的科技公司，DataPipeline数据质量平台整合了数据质量分析、质量校验、质量监控等多方面特性， 以保证数据质量的完整性、一致性、准确性及惟一性，完全解决数据孤岛和数据定义进化的问题。git
二、Kettle
Kettle是一款国外开源的ETL工具，纯java编写，能够在Windows、Linux、Unix上运行，数据抽取高效稳定。Kettle 中文名称叫水壶，该项目的主程序员MATT 但愿把各类数据放到一个壶里，而后以一种指定的格式流出。程序员
Kettle家族目前包括4个产品：Spoon、Pan、CHEF、Kitchen。github
SPOON 容许你经过图形界面来设计ETL转换过程（Transformation）。web
PAN 容许你批量运行由Spoon设计的ETL转换 (例如使用一个时间调度器)。Pan是一个后台执行的程序，没有图形界面。数据库
CHEF 容许你建立任务（Job）。任务经过容许每一个转换，任务，脚本等等，更有利于自动化更新数据仓库的复杂工做。任务经过容许每一个转换，任务，脚本等等。任务将会被检查，看看是否正确地运行了。微信
KITCHEN 容许你批量使用由Chef设计的任务 (例如使用一个时间调度器)。KITCHEN也是一个后台运行的程序。架构
三、Talend
Talend，是一家专业的开源集成软件公司，为企业提供开源的中间件解决方案，从而让企业可以在他们的应用，系统以及数据库中赢取更大的价值。在传统软件公司提供封闭、私有的解决方案的领域Talend系列软件以开源的形式进行开发。Talend，可运行于 Hadoop 集群之间，直接生成 MapReduce 代码供 Hadoop 运行，从而能够下降部署难度和成本，加快分析速度。并且 Talend 还支持可进行并发事务处理的Hadoop2.0。并发
四、Informatica
Informatica是全球领先的数据管理软件提供商。在以下Gartner魔力象限位于领导者地位：数据集成工具魔力象限、数据质量工具魔力象限 、元数据管理解决方案魔力象限 、主数据管理解决方案魔力象限 、企业级集成平台即服务（EiPaaS）魔力象限。app
Informatica Enterprise Data Integration包括Informatica PowerCenter和Informatica PowerExchange 两大产品，凭借其高性能、可充分扩展的平台，能够解决几乎全部数据集成项目和企业集成方案。
· Informatica PowerCenter用于访问和集成几乎任何业务系统、任何格式的数据，它能够按任意速度在企业内交付数据，具备高性能、高可扩展性、高可用性的特色。Informatica PowerCenter包括4个不一样版本，即：标准版，实时版，高级版，云计算版。同时，它还提供了多个可选的组件，以扩展Informatica PowerCenter的核心数据集成功能，这些组件包括：数据清洗和匹配、数据屏蔽、数据验证、Teradata双负载、企业网格、元数据交换、下推优化(Pushdown Optimization)、团队开发和非结构化数据等。
· Informatica PowerExchange 是一系列的数据访问产品，它确保 IT 机构可以根据须要随时随地访问并在整个企业内传递关键数据。凭该能力，IT机构能够优化有限的资源和数据的业务价值。Informatica PowerExchange支持多种不一样的数据源和各种应用，包括企业应用程序、数据库和数据仓库、大型机、中型系统、消息传递系统和技术标准。
五、Datax
DataX 是阿里巴巴集团内被普遍使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各类异构数据源之间高效的数据同步功能。
开源地址：https://github.com/alibaba/DataX
六、Oracle Goldengate
GoldenGate软件是一种基于日志的结构化数据复制软件。GoldenGate 可以实现大量交易数据的实时捕捉、变换和投递，实现源数据库与目标数据库的数据同步，保持亚秒级的数据延迟。
源端经过抽取进程提取redo log或archive log日志内容，经过pump进程（TCP/IP协议）发送到目标端，最后目标端的rep进程接收日志、解析并应用到目标端，进而完成数据同步。
七、ETL工具对比
整理成表格以下：
物流IT圈
泛物流行业IT知识分享传播、从业人士互帮互助，覆盖快递快运/互联网物流平台/城配/即时配送/3PL/仓配/货代/冷链/物流软件公司/物流装备/物流自动化设备/物流机器人等细分行业。长按二维码即刻加入咱们，若是你是以上行业公司中的IT从业人士加运营小哥微信后可入群交流。
公众号
运营小哥
本文分享自微信公众号 - 物流IT圈（exiter18）。
若有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一块儿分享。