spark 导入文件到hive出现多小文件的问题

环境： ambari:2.6.1 spark 2.1 python 3.6 oracle 11.2 sqoop 1.4 将sqoop采集到HDFS中的文件导入到HIVE数据库，导入成功后，发现hive数据库中出现多个小文件的问题，严重影响后期数据分析的加载速度。 解决方法： SJTable = spark.sql("select * from " + tablename +

>>阅读原文<<