spark-sql 分区小文件合并

spark-sql执行任务小文件生成规则 示例数据 元数据 : {数据库名称:mydb,   表名称:t30,    字段列表: a int, b int c int  } 主数据: [1,4,2  ;  3,4,6  ;  4,6,7 ] 1.使用spark-sql查询表数据 任务的task数与小文件数保持一致 例如下图所示 :  表t30中保存的是主数据,其中有17个文件,每一个文件的大小都小

>>阅读原文<<