MapReduce中为什么需要Input Splits?【翻译】

为什么80%的码农都做不了架构师?>>>    HDFS会把非常大的文件分割成多个大的数据块(例如,128M),并且每一个数据块在集群的不同节点上存储3个备份。HDFS并不知道也不关心这些文件的内容。 在yarn上,当一个Mapreduce任务开始时,Resource Manager(负责集群的资源管理和任务调度)会创建一个Application Master守护进程来监视这个任务的生命周期。 (
相关文章
相关标签/搜索