spark-原理总结

一、总体框架结构图   由上图我们可以看到Spark应用程序架构主要由Driver Program和Executor构成，Driver负责运行main()和创建SparkContext，Executor主要负责执行Task任务。 二、各大重要组件和概念 2.1 重要概念 概念 功能 Application 用户定义的Spark应用程序，用户提交后，Spark会为应用分配资源，调度和执行相关任务 J

>>阅读原文<<