Spark性能调优-集群资源分配策略

展开 开发完成Spark做业以后，咱们在运行Spark做业的时候须要为其配置一些资源参数，好比num-executors，executor-memory等，这些参数基本上都是能够在spark-submit命令中做为参数设置，可是如何设置合适的参数值是须要咱们权衡考虑的（集群资源，调优经验，任务大小等）。参数设置的不合适每每会致使集群资源得不到有效的利用，设置的太大可能会致使资源不够而引起异常，过小

>>阅读原文<<