Hadoop机架感知技术

背景 Hadoop在设计时考虑到数据的安全与高效，数据文件默认在HDFS上存放三份，HDFS的存放策略是第1个复本存放在运行客户端的本地机架节点上，第2个复本存放在不同机架的一个节点上，第三个复本存放在与第2复本相同机架、不同节点上。这种策略减少了机架间的数据传输，提高了写操作的效率。这样如果本地数据损坏，节点可以从同一机架内的相邻节点拿到数据，速度肯定比从跨机架节点上拿数据要快；同时，如果整个机

>>阅读原文<<