处理海量数据的模式MapReduce,大规模数据集的并行运算

MapReduce是一种处理海量数据的并行编程模式,用于大规模数据集(通常大于1TB)的并行运算。 “Map(映射)”、“Reduce(化简)”的概念和主要思想,都是从函数式编程语言和矢量编程语言借鉴。 适合非结构化和结构化的海量数据的搜索、挖掘、分析与机器智能学习等。 MapReduce计算模型 分布式计算的瓶颈是网络带宽。“本地计算”是最有效的一种节约网络带宽的手段。 MapReduce的特点
相关文章
相关标签/搜索