大数据复习笔记——hadoop

今天主要回顾一下hadoop学习时候的重要知识点，以及mr提交做业时候的流程、数据块副本放置策略等等前端 一、HDFS架构 设计目标 硬件错误 a) 硬件错误是常态而不是异常。 b) HDFS可能由成百上千的服务器所构成，单机故障几率的存在乎味着总有一部分服务器不工做的。 c) 错误检测和快速自动恢复是HDFS最核心架构目标。 流式数据访问 a) 运行在HDFS上的应用须要流式访问它们的数据集。

>>阅读原文<<