Hadoop YARN:调度性能优化实践

背景 YARN做为Hadoop的资源管理系统,负责Hadoop集群上计算资源的管理和做业调度。html 美团的YARN以社区2.7.1版本为基础构建分支。目前在YARN上支撑离线业务、实时业务以及机器学习业务。node 离线业务主要运行的是Hive on MapReduce, Spark SQL为主的数据仓库做业。 实时业务主要运行Spark Streaming,Flink为主的实时流计算做业。
相关文章
相关标签/搜索