spark sql 的应用实践

背景介绍sql 目前spark主要应用在streaming、ETL和ML场景上，本文主要是分享咱们ETL场景从hive SQL到spark SQL的迁移实践。在整个迁移过程当中咱们把线上多个版本的spark(1.5.2，1.6.3)统一推进升级到2.1.1，同时从Standalone运行模式迁移到了On YARN模式，以减小咱们的维护成本。在安全控制上咱们参考hive的权限系统开发了统一的权限验证

>>阅读原文<<