spark-sql 堆外内存溢出

运行执行spark-sql 脚本文件，爆出对堆外内存溢出 GC overhead limit execeeded 错误如下图，先区分发生异常是executor端还是driver端，我遇到的问题是driver端，因为最后数据导出生成文件，数据会在driver端收集结果集。调节方式有两种，第一种正大driver-memory值，堆外内存计算公式默认是max(0.1*driver-memory ,384

>>阅读原文<<