Spark RDD的缓存

Spark RDD的缓存 Spark速度很是快的缘由之一,就是在不一样操做中能够在内存中持久化或者缓存数据集。当持久化某个RDD后,每个节点都将把计算分区结果保存在内存中,对此RDD或衍生出的RDD进行的其余动做中重用。这使得后续的动做变得更加迅速。RDD相关的持久化和缓存,是Spark最重要的特征之一。能够说,缓存是Spark构建迭代式算法和快速交互式查询的关键。web 1. RDD缓存方式 R
相关文章
相关标签/搜索