一. DataX3.0概览html
DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各类异构数据源之间稳定高效的数据同步功能。git
设计理念github
为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX做为中间传输载体负责链接各类数据源。当须要接入一个新的数据源的时候，只须要将此数据源对接到DataX，便能跟已有的数据源作到无缝数据同步。数据库
当前使用现状多线程
DataX在阿里巴巴集团内被普遍使用，承担了全部大数据的离线同步业务，并已持续稳定运行了6年之久。目前天天完成同步8w多道做业，每日传输数据量超过300TB。架构
此前已经开源DataX1.0版本，这次介绍为阿里巴巴开源全新版本DataX3.0，有了更多更强大的功能和更好的使用体验。Github主页地址：https://github.com/alibaba/DataX。并发
2、DataX3.0框架设计框架
DataX自己做为离线数据同步框架，采用Framework + plugin架构构建。将数据源读取和写入抽象成为Reader/Writer插件，归入到整个同步框架中。工具
Reader：Reader为数据采集模块，负责采集数据源的数据，将数据发送给Framework。大数据
Writer： Writer为数据写入模块，负责不断向Framework取数据，并将数据写入到目的端。
Framework：Framework用于链接reader和writer，做为二者的数据传输通道，并处理缓冲，流控，并发，数据转换等核心技术问题。
三. DataX3.0插件体系
通过几年积累，DataX目前已经有了比较全面的插件体系，主流的RDBMS数据库、NOSQL、大数据计算系统都已经接入。DataX目前支持数据以下：
DataX Framework提供了简单的接口与插件交互，提供简单的插件接入机制，只须要任意加上一种插件，就能无缝对接其余数据源。详情请看：DataX数据源指南
4、DataX3.0核心架构
DataX 3.0 开源版本支持单机多线程模式完成同步做业运行，本小节按一个DataX做业生命周期的时序图，从总体架构设计很是简要说明DataX各个模块相互关系。
核心模块介绍：
DataX完成单个数据同步的做业，咱们称之为Job，DataX接受到一个Job以后，将启动一个进程来完成整个做业同步过程。DataX Job模块是单个做业的中枢管理节点，承担了数据清理、子任务切分(将单一做业计算转化为多个子Task)、TaskGroup管理等功能。
DataXJob启动后，会根据不一样的源端切分策略，将Job切分红多个小的Task(子任务)，以便于并发执行。Task即是DataX做业的最小单元，每个Task都会负责一部分数据的同步工做。
切分多个Task以后，DataX Job会调用Scheduler模块，根据配置的并发数据量，将拆分红的Task从新组合，组装成TaskGroup(任务组)。每个TaskGroup负责以必定的并发运行完毕分配好的全部Task，默认单个任务组的并发数量为5。
每个Task都由TaskGroup负责启动，Task启动后，会固定启动Reader—>Channel—>Writer的线程来完成任务