11九、Spark核心编程进阶之集群架构

这里以yarn-cluster集群架构进行举例 spark程序写完了之后,就要提交到spark集群上面去运行,这就是spark做业(一次代码的运行+一份数据的处理+一次结果的产出) spark做业是经过spark集群中的多个独立的进程来并行运行的,每一个进程都处理一部分数据,从而作到分布式并行计算,才能对大数据进行处理和计算 做业在多个进程中的运行,是经过SparkContext对象来居中调度的,
相关文章
相关标签/搜索