第30课：完全解密Spark 2.1.X中Shuffle中JVM Unified Memory内幕详情：Spark Unified Memory的运行原理和机制是什么？Spark JVM最小配置是什么？用户空间何时会出现OOM？Spark中的Broadcast究竟是存储在什么空间的？ShuffleMapTask的使用的数据到底在什么地方？spa
- Spark Unified Memory的运行原理和机制是什么？ Spark Unified Memory，这是统一或者联合的意思，可是 Spark 没有用 Shared 这个字，例如 A 和 B 进行 Unified 和 A 和 B 进行 Shared 实际上是两个不一样的概念 。
- Spark JVM最小配置是什么？
- 用户空间何时会出现OOM？spark 2.1.x中用户空间OOM ，首先要肯定user space memory是什么，举个很简单的例子，假如Executor 是100G的内存，那user space memory是什么，这个问题不是全部人能回答出来的，你的user space memory是50G？80G？20G？仍是25G？为何这件事情很重要，例如在spark中使用算子mapPartition，通常要使用中间数据和临时对象，你这个时候使用的中间数据和临时对象，就是user space里面用户操做的数据空间，那这个空间的数据大小何时致使OOM？