Hadoop——JobTracker和TaskTracker,以及如何演变成Yarn架构

MapReduce计算框架是如何实现计算向数据移动的呢? 计算向数据移动面临着诸多问题,如:怎么让机器自动移动,面对block的许多副本,怎么判别移动到的是最合适的Datanode 这个问题牵扯到两个概念:资源管理,任务调度 资源管理:掌握各机器当前可用内存,可用CPU等情况 任务调度:根据可用资源,进行计算任务的分配(也就是向哪个Datanode移动) MapReduce想要完成资源管理和任务调
相关文章
相关标签/搜索