大型集团内部数据采集方案设计

当大型集团内部、如总公司和子公司之间需要进行数据交换、采集时，其中总公司是Hive数据源，两个NameNode，30个DataNode的高可用集群，子公司一般是Mysql数据源，总公司与各个子公司之间都是网络隔离的。  　　　　　　　　　　　　　　　　 现在我们首先考虑的业务场景是总公司对各个子公司进行数据采集，也就是子公司将mysql上的数据同步到总公司的hive数仓内。 如果在子公司服务器使用

>>阅读原文<<