Spark RDD弹性表现和来源

hadoop 的MapReduce是基于数据集的,位置感知,容错 负载均衡 基于数据集的处理:从物理存储上加载数据,而后操做数据,而后写入物理存储设备; 基于数据集的操做不适应的场景: 1,不适合于大量的迭代 2,交互式查询 重点是:基于数据流的方式 不可以复用曾经的结果或者中间计算结果; spark RDD是基于工做集的 工做流和工做集的共同特色:位置感知,自动容错,负载均衡等。 spark的位
相关文章
相关标签/搜索