spark的task倾斜

什么是Spark的Task倾斜? 假设当我们提交资源的到yarn上的时候 executor个数为6个 每个executor的cores为4个 task的个数为6个 理想的情况是:每一个executor做一个task,那么6个executor都在工作,6个task同时执行,只要服务器配置一致,6个task的数据量一致的话,那么数据是很快就可以执行完毕的 我自己实际测试的情况如下: 从图上可以看到,我
相关文章
相关标签/搜索