Spark On Yarn的两种模式解析

使用yarn能对spark的运行资源调动进行动态划分,spark on yarn有yarn-client和yarn-cluster两种模式。这两种模式的作业虽然都运行在yarn上,但是运行方式不一样;下面解析一下这两种模式下提交作业到运行的全过程。 运行中涉及到的名词 Application: Appliction都是指用户编写的Spark应用程序,其中包括一个Driver功能的代码和分布在集群中
相关文章
相关标签/搜索