Hive中跑MapReduce Job出现OOM问题分析及解决

1、引子 今天在跑一段很复杂并且涉及数据量10多年的N个表join的长SQL时，发生了OOM的异常。java 因为一个map一般配置只有64MB或者128MB，则在Map阶段出现OOM的状况不多见。因此通常发生在reduce阶段。 可是今天这个异常详细的看后，会发现既不是map阶段，也不是reduce阶段，发现不是执行过程，而是driver提交job阶段就OOM了。 Hive中XMLEncoder

>>阅读原文<<