Apache Spark集群模式选择

Standalone

Standalone是最容易搭建的模式,在只运行Spark的状况下,Standalone提供了跟其余两种模式差很少的特性。因此若是在只运行Spark,而且Spark集群节点小于100的状况下,能够选择Standalone模式。node

Apache Mesos

若是已经使用Docker容器,或者有些其余项目须要运行在集群上,可选择Apache Mesos模式。oop

Hadoop YARN

若是项目中已经有使用Hadoop,可以使用Hadoop YARN模式。spa


详细对比参考资料:get

which-cluster-type-should-i-choose-for-sparkit

with-how-many-spark-nodes-should-i-use-mesos-or-yarnspark

How does YARN compare to Mesosio

相关文章
相关标签/搜索