Spark面试精选题(05)

一、简答说一下hadoop的map-reduce编程模型 首先map task会从本地文件系统读取数据,转换成key-value形式的键值对集合使用的是hadoop内置的数据类型,好比longwritable、text等将键值对集合输入mapper进行业务处理过程,将其转换成须要的key-value在输出以后会进行一个partition分区操做,默认使用的是hashpartitioner,能够经过
相关文章
相关标签/搜索