【spark】关于spark的shuffle模式的一些见解

我不想说太多源码层面的东西，然后把详细方法一个个列出来，其实没有多大意义（因为源码里有，再者比我讲的清晰明白的大有人在，我没有必要再重复相同的东西），但是我真的花了好大的精力才把这部分看完，我得记录下，不然会忘掉   一、spark到底有几种shuffleManager（shuffle管理类）可以选择？ 首先spark早期的版本（比如1.5.1版本），是有三种shuffle http://spar

>>阅读原文<<