spark自定义RDD

1、为何须要自定义RDDjava        1. spark提供了不少方法读数据源,好比咱们当前能够从hdfs文件、jdbc、mongo、hbase等等将数据包装成RDD供咱们后续进行处理。若是咱们想要读memcache中的数据恐怕就没有现成的了,须要咱们本身实现本身的RDD。sql        2. RDD是一种弹性分布式数据集,本质就是对数据的封装与抽象。讲道理咱们能够将任何咱们想要的数
相关文章
相关标签/搜索