Spark 第三方jar包依赖解决方案

在进行Spark开发和学习中,有时会遇到缺包或找不到类的情况,或是需要自定义扩展一些功能,那么我们就要了解第三方jar包依赖解决方案,今天抽空总结一下各种解决方案和适用场景。 一. 将第三方的jar文件打包到应用jar文件中 使用场景:第三方jar文件比较小,依赖的spark应用比较少 二. 使用参数–jars给定依赖jar文件 要求jar文件在driver运行的机器上存在 使用场景:依赖的spa
相关文章
相关标签/搜索