Spark Datasets介绍

1.1背景 从Spark1.3.0版本开始推出DataFrame，DataFrame让Spark具有了处理大规模结构化数据的能力，在比原有的RDD转化方式易用的前提下，计算性能更快。发布DataFrame以后开发者收到了不少反馈，其中一个主要的是你们反映缺少编译时类型安全。为了解决这个问题，Spark采用新的 Dataset API (DataFrame API的类型扩展)。sql 从Spark1

>>阅读原文<<