Spark学习之在集群上运行Spark

一、简介   Spark 的一大好处就是可以通过增加机器数量并使用集群模式运行,来扩展程序的计算能力。好在编写用于在集群上并行执行的 Spark 应用所使用的 API 跟本地单机模式下的完全一样。也就是说,你可以在小数据集上利用本地模式快速开发并验证你的应用,然后无需修改代码就可以在大规模集群上运行。   首先介绍分布式 Spark 应用的运行环境架构,然后讨论在集群上运行 Spark 应用时的一
相关文章
相关标签/搜索