spark集群调优心得

(2017年11月26日)linux 最近公司搞一个spark集群项目,期间会对spark集群进行调优.虽然调优的建议网上有不少,可是经过具体实践,发现不一样的场景,调节的参数仍是有不同的地方.现记录一下最近学到的一些实践手段吧.web (1)要留一点资源给除spark之外的应用.网络 咱们用的是Spark-On-Yarn资源调度,每台机器有24核心,每台机器最大内存有128G,并发 在yarn-

>>阅读原文<<