HDFS的核心思想和组件架构

1、HDFS核心思想 HDFS(Hadoop Distribute FIleSystem) 用来处理海量数据的存储,是hadoop的分布式文件系统。 (1)数据存储在集群中的某台机器上,为保证数据安全,需要将这个数据进行物理切块存储,每一块的大小是128M(可根据机器的性能进行修改),将每一块分别存储到三台不同的机器上(三个副本)。 (为什么是128M:根据统计,处理完一个文件的效率最优策略是1s
相关文章
相关标签/搜索