spark2实战-经过spark dataframe导入csv文件到动态分区表

概述 本文讲述如何把一个dataframe加载到spark的动态分区表中。web 场景介绍 把csv和parquet文件加载到spark的动态分区表中，有不少中方案，这里介绍如何经过spark的dataframe把数据文件加载到动态分区表中。sql 注意：为了保证性能，指定分区的字段的字典数据的惟一值最好不要超过几万。这是spark-2.3的partitionBy算子的源码的注释中写到的。apac

>>阅读原文<<