Spark On Yarn 中Executor 内存分配的机制

问题导读 1. Spark On Yarn 下executor-memory 参数如何生效？ 2. Cluster 和 Client 模式中 内存开销的区别？ 3. 规整化因子是什么？ 综述   提交任务时，配置的executor-memory 的参数，设置为6g，结果实际运行中，占据的资源算下来，每个executor 使用的却接近7个g，被管理集群的同事找上门，逃。   那么，为何会配置的参数没

>>阅读原文<<