spark应用调试(idea 环境)

spark应用调试(idea 环境) spark shell可以比较方便的分步执行调试spark应用程序，但有时候不是很方便。下面介绍一种直接在idea中调试spark程序的方法。 maven 新建工程 ​ 这个不多赘述，注意一点是pom文件中把依赖的spark的scope的provided去掉，因为我们要在idea中直接运行，不会用spark-submit。 <dependencies>

>>阅读原文<<