大数据Hadoop,spark学习

Hadoop 基础 一个 Hadoop job 通常都是这样的: 从 HDFS 读取输入数据; 在 Map 阶段使用用户定义的 mapper function, 然后把结果写入磁盘; 在 Reduce 阶段,从各个处于 Map 阶段的机器中读取 Map 计算的中间结果,使用用户定义的 reduce function, 通常最后把结果写回 HDFS; 很多计算,就比如我们刚才的例子,都可以拆分成Ma
相关文章
相关标签/搜索