spark的三种模式的详细运行过程(基于standalone与基于yarn)

1、Standalone模式函数 一、使用SparkSubmit提交任务的时候(包括Eclipse或者其它开发工具使用new SparkConf()来运行任务的时候),Driver运行在Client;使用SparkShell提交的任务的时候,Driver是运行在Master上 二、使用SparkSubmit提交任务的时候,使用本地的Client类的main函数来建立sparkcontext并初始化
相关文章
相关标签/搜索