MapReduce

MapReduce编程模型 MapReduce是一种海量数据的并行编程模型和计算框架,它最早运行在Google的分布式系统GFS下,后面Hadoop也实现了MapReduce编程模型和计算框架。MapReduce的主要思想把大规模数据的操作分发一个主节点管理下的分节点共同完成,然后整合各分节点的结果,得到最终的结果。 并行编程会遇到各种复杂的问题:分布式存储、工作调度、负载均衡、容错处理、网络通信
相关文章
相关标签/搜索