SparkSQL 学习笔记----Parquet数据源之合并元数据

1、使用场景 如同ProtocolBuffer，Avro，Thrift一样，Parquet也是支持元数据合并的。 用户可以在一开始就定义一个简单的元数据，然后随着业务的需要，逐渐往元数据中添加更多的列。在这种情况下，用户可能会创建多个Parquet文件，有着多个不同的但是却互相兼容的元数据。Parquet数据源支持自动推断出这种情况，并且进行多个Parquet文件的元数据的合并。 2、 开启Par

>>阅读原文<<