MapReduce-分布式离线计算框架

MapReduce Hadoop MapReduce是一个用于轻松编写程序的软件框架,这些程序以可靠的,容错的方式运行于大型集群中(数千个节点)的商用软件上并行处理大量数据(TB级别数据集)。 MapReduce作业通常是将输入的数据集划分为独立的块,这些块完全由Map Task以完全并行的方式处理。框架将Map的输出进行排序,排序后的结果将被放入Reduce Task。通常,作业的输入输出结果都
相关文章
相关标签/搜索