MapReduce On YARN

MapReduce计算框架 将计算过程分为两个阶段:Map和Reduce   Map阶段并行处理输入数据;   Reduce阶段对Map结果进行汇总 Shuffle连接Map和Reduce两个阶段   Map Task将数据写到本地磁盘;   Reduce Task从每个Map Task上读取一份数据; 仅适合离线批处理   具有较好的容错性和扩展性;   适合批处理任务; 缺点:   启动Map
相关文章
相关标签/搜索