Spark on yarn 的两种模式的区别

1. spark on yarn cluster 模式spa

ResourceManger 分配资源  ApplicationMaster (AM)通讯 NodeManager NodeManger 开辟 Container,Container进行 executor执行job。同时资源状况以及job状态 的收集经过AM传给 RM资源

2.spark on yarn client 模式spark

Client 客户端 向RM请求提交 job, ResourceManger 分配资源  ApplicationMaster (AM)通讯 NodeManager NodeManger 开辟 Container,Container进行 executor执行job,资源状况以及job状态 的收集经过AM传给Client 。Driver就是运行在这个Clientio

相关文章
相关标签/搜索