Spark的资源管理以及YARN-Cluster Vs YARN-Client

原文:http://blog.cloudera.com/blog/2014/05/apache-spark-resource-management-and-yarn-app-models/shell 对于Mapreduce来讲,最高级别的计算单元是Job。系统加载数据,执行Map定义的处理逻辑,shuffle Map的输出,再执行Reduce定义的处理逻辑,最后把reduce的结果写回持久化的存储
相关文章
相关标签/搜索