Spark SQL总结

1、DataFrame和RDD的区别 1、左侧的RDD[Person]虽然以Person为类型参数，但Spark框架本身不了解 Person类的内部结构。 而右侧的DataFrame却提供了详细的结构信息，使得Spark SQL可以清楚地知道该数据集中包含哪些列，每列的名称和类型各是什么，DataFrame多了数据的结构信息，即schema。这样看起来就像一张表了。 2、DataFrame通过引入

>>阅读原文<<