hive on spark 性能参数调优

select * from stg_bankcard_auth_apply where length(idcardno) >= 1 and length(idcardno) <> 32; --该表存储文件格式为txt格式，是源文件直接load进来的，mapreduce运行无论任何sql(包括很是简单的)，直接崩溃，没法统计；文件65.5G，1.4亿条数据 --一样的sql统计;java set h

>>阅读原文<<