在intellij idea利用sbt插件远程调试spark程序

最近在用spark,写的spark代码必须在集群中才能执行,在调试时候,每修改一次代码都要submit到spark集群上,在调试的时候很是不方便。通过几天的搜索,发现能够将jar包放在集群上,可是能够在本地单步运行spark程序,只须要不多的设置就能够实现。java 因为仅用做示例,我仅仅提供简单的scala代码,没有涉及到sparkcontext。可是步骤是同样的。 一、新建scala obje
相关文章
相关标签/搜索