spark内存模型概论

背景： 自从开始接触spark之后就一直很奇怪spark on yarn到底是怎么样跑起来了，具体的内存占用是怎么分配的？如果container的内存小于–executor-memory的话，spark程序能够跑起来吗？记得在某次的面试中还问过别人这个欠揍的问题，?。另外最近程序也老是莫名其妙的被kill掉了，要么就是exit 137等。 组件： 基于spark2.2.x 正文： spark on

>>阅读原文<<