大数据Spark企业级实战版【学习笔记】----Spark技术生态系统之Spark Core

1.1.3 Spark技术生态系统        Spark生态系统如果1-8所示:                Spark Core包含Spark的基本功能,这些功能包括任务调度、内存管理、故障恢复以及存储系统的交互等,其中几个重要的概念:RDD、Stage、DAG。Spark Core的核心思想就是将数据集缓存在内存中,并用Lineage机制来进行容错。 1. Spark Core 1)  
相关文章
相关标签/搜索