『 Spark 』2. spark 基本概念解析

Application 用户在 spark 上构建的程序,包含了 driver 程序以及在集群上运行的程序代码,物理机器上涉及了 driver,master,worker 三个节点. Driver Program 创建 sc ,定义 udf 函数,定义一个 spark 应用程序所需要的三大步骤的逻辑:加载数据集,处理数据,结果展示。 Cluster Manager 集群的资源管理器,在集群上获取资
相关文章
相关标签/搜索