kafka消息系统-海量数据迁移方案

1、需求描述 因为本人主要从事大数据可视化的工做，就少不了对海量数据的分析，可是咱们并非数据的生产来源，数据来自有大数据可视化分析需求的用户，因此实际业务中每每会遇到大量数据从传统存储方式（关系型数据库、文件存储等）到数据仓库的迁移，本次就以实现如何基于kafka从oracle到hive仓库作数据的迁移工做。 本次操做的数据量为空间坐标数据，原始数据存储在oracle中，大概10亿条左右，经过自己

>>阅读原文<<