Spark性能优化指南学习（四）——spark内存模型及shuffle调优

1、内存模型缓存 spark运行使用内存主要包含driver和executor，经过driver-memory和executor-memory进行设置，经过运行机制得知，driver负责提交注册，接受executor反向注册，stage划分和task任务分发等工做，默认内存大小为1G，在使用collect算子时，须要注意oom，由于collect算子将数据拉取到driver，spark的主要做业发

>>阅读原文<<