kafka消息系统-海量数据迁移方案

一、需求描述 由于本人主要从事大数据可视化的工作，就少不了对海量数据的分析，但是我们并不是数据的生产来源，数据来自有大数据可视化分析需求的用户，所以实际业务中往往会遇到大量数据从传统存储方式（关系型数据库、文件存储等）到数据仓库的迁移，本次就以实现如何基于kafka从oracle到hive仓库做数据的迁移工作。 本次操作的数据量为空间坐标数据，原始数据存储在oracle中，大概10亿条左右，通过本

>>阅读原文<<