大数据笔试真题集锦---第二章:Spark面试题

我会不间断的更新,维护,但愿能够对正在找大数据工做的朋友们有所帮助. 第二章目录 第二章 Spark 2.1 Spark 原理 2.1.1 Shuffle 原理     2.1.1.1 SortShuffle mapTask将map（聚合算子）或array（join算子）写入内存 达到阀值发生溢写，溢写前根据key排序，分批写入磁盘，最终将全部临时文件合并成一个最终文件，并创建一份索引记录分区信息

>>阅读原文<<