大数据学习第二课之五mapreduce原理简介

首先什么是mapreduce： 总的来说，Mapreduce是一个分布式的运算编程框架，核心功能是将用户编写的核心逻辑代码分布式地运行在一个集群的很多服务器上。 为什么要mapreduce （1）海量数据（我假设1000t，或者p级别）在单机上处理因为硬件资源限制，无法胜任，因为需要采用分布式集群的方式来处理。 （2）而一旦将单机版程序扩展到集群来分布式运行，将极大地增加程序的复杂度和开发难度 （

>>阅读原文<<