一周学习之MapReduce总结

分步式并行计算框架Map Reduce 是指实现某项任务或某项工作从开始到结束的计算过程或流的结构 MapReduce计算框架图示: 分布式并行计算架构 一个大的任务被拆分成多个小任务,每个小任务同时执行。按照执行流程进行计算。 MapReduce核心思想 分而治之,先分后和(只有一个模型) Map负责数据拆分 map: [k1,v1] → [(k2,v2)] Reduce负责数据合并 reduc
相关文章
相关标签/搜索