Java分批写入大量数据到kafka，sparkStreaming实时消费kafka，完成数据下沉(Hive到Hive数据迁移/同步)

最近遇到这样的一个场景: 存在两个Hadoop集群，须要将一个集群中的hive数据传输到另外一个集群的hive中。且源端hive为其余公司数据源，涉及到的必定的安全和保密性。java 现大体思路为: Java读取源端hive—>我司kafka—>sparkStreaming读取kafka—>目标端hivenode 代码示例: Java获取其余公司hive表数据: package com.zhbr.

>>阅读原文<<