spark 任务运行原理

调优概述 在开发完Spark做业以后，就该为做业配置合适的资源了。Spark的资源参数，基本均可以在spark-submit命令中做为参数设置。不少Spark初学者，一般不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。资源参数设置的不合理，可能会致使没有充分利用集群资源，做业运行会极其缓慢；或者设置的资源过大，队列没有足够的资源来提供，进而致使各类异常。总之

>>阅读原文<<