大数据之Spark性能优化

Spark性能优化概述 Spark是基于内存的大数据计算，需要进行性能优化原因是CPU、内存、网络带宽出现了瓶颈。如果网络传输和通信导致性能出现瓶颈，那么要加大网络带宽是必要的，如果内存导致性能出现瓶颈，难以处理10亿以上的数据量进行计算，除了加大内存，还需要对内存的使用进行性能优化，使用一些性能技术调优。Spark性能优化，主要是对内存进行性能优化。 Spark性能优化技术点 1、诊断内存的消耗

>>阅读原文<<