解决spark streaming重复提交第三方jar包问题

背景： 由于spark streaming每次提交都需要上传大量jar包到hdfs，为节约HDFS资源，现只存一份来解决这个问题 组件： CDH 5.13 spark2.2.x 针对cluster模式 对于spark streaming而言，第三方jar包是一个值得探讨的问题，相信大部分都是打的源码包，然后提交jar，想通过–jars $(echo sparklib0.10/*.jar | tr

>>阅读原文<<