MapReduce与Spark On Yarn资源竞争时,为何Spark总能抢占更多资源?

问题简述:我们日常开发中,有时会在yarn队列中发现一个现象,spark任务跑得很舒服,而且占了很多资源,MR任务拿不到资源一直卡在那里,提交MR的同事就很气,抱怨spark抢占资源,实际真的是这样么?我们针对这个问题进行以下探究。常见现象如下,资源紧张时比较常见,看如图中的Spark任务持有的Container普遍多于MR任务持有的Container 有的小伙伴可能没有耐心,咱们先给下结论!!!
相关文章
相关标签/搜索