DataX 是阿里巴巴集团内被普遍使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各类异构数据源之间高效的数据同步功能。java
设计理念：python
为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX做为中间传输载体负责链接各类数据源。当须要接入一个新的数源的时候，只须要将此数据源对接到DataX，便能跟已有的数据源作到无缝数据同步。git
当前现状：
DataX在阿里巴巴集团内被普遍使用，承担了全部大数据的离线同步业务，并已持续稳定运行了6年之久。目前天天完成同步8w多道做业，每日传输数据量超过300TB.
支持的数据源：DataX目前已经有了比较全面的插件体系，主流的RDBMS数据库、NOSQL、大数据计算系统都已经接入，目前支持数据如右图github
DataX3.0框架设计
数据库
DataX自己做为离线数据同步框架，采用Framework + plugin架构构建。将数据源读取和写入抽象成为Reader/Writer插件，归入到整个同步框架中。
Reader：Reader为数据采集模块，负责采集数据源的数据，将数据发送给Framework。
Writer： Writer为数据写入模块，负责不断向Framework取数据，并将数据写入到目的端。
Framework：Framework用于链接reader和writer，做为二者的数据传输通道，并处理缓冲，流控，并发，数据转换等核心技术问题。架构
DataX的使用并发
环境准备：
Github地址：https://github.com/alibaba/DataX
版本：DataX3.0
java(1.6及其以上)
python（2.6及其以上），必定要为python2框架