HDFS与MapReduce

HDFS基本概念 1、HDFS设计思想 分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析 2、概念和特性 概念：HDFS是一个分布式的文件系统。 特性： （1）HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数(dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，老版本中是64M （2）H

>>阅读原文<<