Spark 与MapReduce 资源调度方面的简单对比

spark-粗粒度的资源调度:

在Application执行以前,先将全部的资源申请完毕,才会执行任务的调度,直到最后一个task执行完毕,才会释放掉这些资源

优势:每个task执行以前不须要本身去申请资源,直接去用资源就能够,那么每个task执行时间就会缩短了,
    stage时间也缩短了,job的执行时间也缩短了,app的时间也就缩短了
缺点:一直到最后一个task执行完毕才会释放支援,集群的资源不能充分利用

MapReduce-细粒度的资源调度

在application执行以前不须要先将资源申请完毕,而是直接进行任务调度,每个task在执行以前本身去申请资源,申请到了就执行,
申请不到就继续申请,每个task执行完毕后后悔本身将申请的资源释放掉
优势:充分利用集群的资源状况
缺点:task执行的时间变长了
相关文章
相关标签/搜索