使用spark与MySQL进行数据交互的方法

在项目中，遇到一个场景是，须要从Hive数据仓库中拉取数据，进行过滤、裁剪或者聚合以后生成中间结果导入MySQL。html 对于这样一个极其普通的离线计算场景，有多种技术选型能够实现。例如，sqoop，MR，HSQL。java   咱们这里使用的spark，优势来讲是两个：一是灵活性高，二是代码简洁。mysql 1）灵活性高sql 相比sqoop和HSQL，spark能够更灵活的控制过滤和裁剪逻辑

>>阅读原文<<