Hadoop平台优化综述(二)

从系统实现角度进行优化 4.1 在可移植性和性能之间进行权衡 论文[16]主要针对HDFS进行了优化,它分析了HDFS性能低下的两个原因:调度延迟和可移植性假设。 (1) 调度延迟 Hadoop采用的是动态调度算法,即:当某个tasktracker上出现空slot时,它会通过HEARBEAT(默认时间间隔为3s,当集群变大时,会适当调大)告诉jobtracker,之后jobtracker采用某种调
相关文章
相关标签/搜索