IDEA远程提交运行HDFS的Spark程序

之前提交运行spark程序,都是通过spark-submit提交运行的。 但是能不能再IDEA中就执行submit运行程序呢, 以前用过一种方式,就是通过远程ssh访问(远程ssh可以通过JSch实现),通过liunx命令去执行,但是这个显然不是我期望的。 我的spark程序都是提交给yarn运行的,如果程序直接与yarn通信,按spark-submit源码中的提交方式去做,是不是也能实现呢。 参
相关文章
相关标签/搜索