如何编写分布式的数据传输

一、原理 根据前面介绍的datax原理，数据传输主要包括两部分：1）切分task；2）task调度执行 二、如何切分task 根据不同的数据源可以有不同的切分方式（目标端进行适配），几种常见的切分方式 1）mysql：如果是分库分表，可以按照单表切分成一个task；如果是单表，可以根据主键的区间值切分（参考datax的splitKey） 2）hbase：根据region的rowkey进行切

>>阅读原文<<