RDD、DataFrame、DataSet对比与相互转换

RDD (Spark1.0) —> Dataframe(Spark1.3) —> Dataset(Spark1.6)  三者的共性 1、RDD、DataFrame、Dataset 全都是 spark 平台下的分布式弹性数据集,为处理超大型数据提供便利 2、三者都有惰性机制,在进行创建、转换,如 map 方法时,不会立即执行,只有在遇到 Action 如 foreach 时,三者才会开始遍历运算。
相关文章
相关标签/搜索