SparkSQL

目录 SparkSQL的shuffle过程 SparkSQL结构化数据 SparkSQL解析 SparkSQL的shuffle过程 Spark SQL的核心是把已有的RDD,带上Schema信息,然后注册成类似sql里的”Table”,对其进行sql查询。这里面主要分两部分,一是生成SchemaRD,二是执行查询。 如果是spark-hive项目,那么读取metadata信息作为Schema、读取
相关文章
相关标签/搜索