Spark性能调优总结

文章授权自 ： http://www.6aiq.com/article/1547041120082 使用正确的 transformations操作 虽然开发者达到某一目标，可以通过不同的transformations操作，但是有时候不同的姿势，性能差异非常明显。优化姿势的总体目标是尽可能少的产生shuffle， 和待被 shuffled data。因为shffule过程存在写盘和节点间网络IO的开

>>阅读原文<<