Spark性能优化详解

1.对集群分配更多的资源 在提交任务时，在–total-executor-cores,–executor-memory,–driver-memory参数上分配 分配cpu core,memory 给executor分配更多的内存，能够减少executor频繁gc，因为一旦发生频繁gc，spark的性能会马上下降 给executor分配更多的内存，会将尽量多的rdd的数据保存在内存中，可以避免磁盘I

>>阅读原文<<