大数据存储与处理——YARN

Yarn产生的原因 直接源于MRv1在几个方面的缺陷 扩展性受限 单点故障:JobTracker 完成了太多的任务,造成了过多的资源消耗 难以支持MR之外的计算 多计算框架各自为战,数据共享困难 YARN 即在一个集群上部署一个统一的资源调度管理框架YARN,在YARN之上可以部署其他各种计算框架 由YARN为这些计算框架提供统一的资源调度管理服务,并且能够根据各种计算框架的负载需求,调整各自占用
相关文章
相关标签/搜索