Spark性能调优一:在实际项目中分配更多资源

分配更多资源:性能调优的王道,就是增加和分配更多的资源,性能和速度上的提升,是显而易见的。基本上,在一定范围之内,增加资源与性能的提升是成正比的。当完成了一个复杂的spark作业之后,进行性能调优的时候,首先第一步,就是要调节最优的资源配置。在这个基础之上,如果你的Spark作业能够分配的资源达到了你的能力范围的顶端之后,无法再分配更多的资源了,公司资源也有限,那么此时才去考虑做后面的那些性能调优
相关文章
相关标签/搜索