大数据挖掘分析与应用 (七) MapReduce操作

MapReduce框架 一 MapReduce概述 优点:1.海量数据离线处理 2.易开发 3.易运行 缺点:实时流计算 MapReduce计算框架,基于磁盘(硬盘)IO输入输出 我从磁盘上读取数据到内存中,计算,得出结果放到磁盘 spark计算框架 ,基于内存的(内存条) 很短的时间内,数据是直接到内存的,计算,结果返回 MapReduce编程之工作流程: 1.将作业拆分为Map阶段和Reduc
相关文章
相关标签/搜索