spark中excutor的个数、内存大小、core的个数、task的个数、分区的个数、集群的资源情况等的关系

目录   1、Spark性能调优之资源分配  大体上这两个方面:core    mem   (1)、分配哪些资源? (2)、在哪里分配这些资源? (3)、调节到多大,算是最大呢? (4)、为什么调节了资源以后,性能可以提升? 2、分区个数和task个数的关系 3、Spark性能调优之合理设置并行度 (1)、Spark的并行度指的是什么? (2)、如何去提高并行度?   1、Spark性能调优之资源
相关文章
相关标签/搜索