大数据基础知识集合(三)

一、Hadoop 1、MapReduce——Hadoop的核心 MapReduce是一个可以对大量数据进行分布式处理的软件框架,MapReduce的重要创新是当处理一个大数据集查询时会将其任务分解并在运行的多个节点中处理。 当数据量很大时就无法在一台服务器上解决问题,此时分布式计算优势就体现出来。将这种技术与Linux服务器结合可获得性价比极高的替代大规模计算阵列的方法。 2、HDFS 对于分布式
相关文章
相关标签/搜索