30分钟理解Spark的基本原理

01 Spark优势特点 作为大数据计算框架 MapReduce 的继任者,Spark 具备以下优势特性。 01 高效性 不同于 MapReduce 将中间计算结果放入磁盘中,Spark 采用内存存储中间计算结果,减少了迭代运算的磁盘 IO,并通过并行计算 DAG 图的优化,减少了不同任务之间的依赖,降低了延迟等待时间。内存计算下,Spark 比 MapReduce 快 100 倍。      
相关文章
相关标签/搜索