spark性能调优

spark性能调优有不少措施，下面说说我用到的一些调优手段。html 1.RDD分片数和executor个数的协调apache 要想充分的使数据并行执行，而且能充分的利用每个executor，则在rdd的个数与executor的个数之间要有一个合适的值。若rdd的个数较多而executor的个数较少，则会致使部分rdd须要等待空闲的executor，这样不能使全部数据同时并行执行。若rdd较少，而

>>阅读原文<<