SparkSQL2.x 中的DataFrame和Dataset建立与使用

 SparkSQL 的概念 Spark SQL 是一个用来处理结构化数据的 spark 组件，也可被视为一个分布式的 SQL 查询引擎。与基础 的 Spark RDD API 不一样, Spark SQL 提供了查询结构化数据及计算结果等信息的接口。在内部, Spark  SQL 使用这个额外的信息去执行额外的优化.有几种方式能够跟 Spark SQL 进行交互, 包括 SQL 和  Datase

>>阅读原文<<