大数据-MR的运行原理

对上诉图片的详细解释 计算切片： 有几个切片就有几个map task 环形缓存区： 经过map函数的逻辑处理后的数据输出之后，会通过OutputConllector收集器将数据收集到环形缓存区保存 环形缓存区的大小默认100M 当保存的数据达到80%时 就将缓存区的数据溢出到磁盘上保存 溢出 环形缓存区的数据达到其容量的80%时就会溢出到磁盘上进行保存 在此过程中 程序会对数据进行分区(默认Has

>>阅读原文<<