mapreduce笔记

map相当于映射,reduce是资源处理, 一个切片(物理逻辑概念)对应一个map 一个块对应一个map 如果有一个窗口机制,能够实现一个map对应块中的其中的一条记录,那就形成一个map对应一个记录 map的数量根据切片来决定,切片根据数据特征来决定,切片的大小可以改变,一个切片也可以对应两个块 reduce的数量由人来决定 一条记录调用一次map MR原语: 输入(格式化k,v)数据集map
相关文章
相关标签/搜索