失败的sparkSql使用问题记录

问题1、为什么很大的表，最里层的map只用1094个task呢？导致一直gc,   最后失败。 问题2，用row获取数据的时候，在sql中聚合的结果到底是integer还是long呢，总报数据类型转换错误，全改成Integer不对，全改成long也不对，后来单独把一段列设置一样的sql拿出来，用df.show(2)执行，df.printSchema()打印结构，在log的stdout看到结构。 但

>>阅读原文<<