我理解的spark集群的计算模型

备注: 1.task节点是线程,由executor进程对一个或多个task线程做创建、内存分配、任务分配、销毁等操作,具体的操作逻辑先忽略,而executor进程运行在服务器上,对executor 进程的管理也忽略了。 2.对用户而言,分组操作就是rdd转成了rdd1,中间的task处理对用户而言是透明的, 3.其它待补充。
相关文章
相关标签/搜索