在spark集群上运行本身的java程序

   看各路高手说在spark集群上运行java程序用spark-submit.sh ....而后一堆参数,非常麻烦!java

   那么问题来了,对于我这个习惯中传统java命令执行程序的人来讲怎么办,..并且这种方式不易于与其余程序合并, 这里有一种很简洁的方式就是在conf/spark-env中配置:export SPARK_CLASSPATH="$SPARK_CLASSPATH:/custom/*";而后把本身的程序jar都扔custom目录中一份,接下来在服务器任意目录均可以用传统的java命令执行程序了,spark Excutor会根据上面配置 的路径将所须要加载的类自动加载,这种执行方式是否是很happy了...不喜勿喷,请提出您宝贵的建议供你们学习
服务器

相关文章
相关标签/搜索