impala 遇到的坑

文章原文连接 http://www.bbgo.xyz/accounts/...

一、尽可能少使用 invalidate metadata，尽可能用REFRESH TABLE_NAME;
二、set APPX_COUNT_DISTINCT=true 与 ndv 函数是同样的，都只是估值

Impala SQL 不支持的一个查询中的多个聚合函数使用 DISTINCT
如：select count(distinct id),count(distinct uid) from table;执行会报错
impala 提供了 ndv 函数 及 set APPX_COUNT_DISTINCT=true 参数。但这两个都不是精确值

三、impala 保存含中文结果到文件

impala-shell -i hadoop07 -B -q 'select "我" from dual' -o result.txt
这个太坑了
修改  /data/cloudera/parcels/CDH-5.6.0-1.cdh5.6.0.p0.45/bin/../lib/impala-shell/impala_shell.py
添加
# coding=utf-8
import sys
reload(sys)
sys.setdefaultencoding('utf-8')

而后修改：
query = self.imp_client.create_beeswax_query("select %s" % args,self.set_query_options)
为
 query = self.imp_client.create_beeswax_query("select %s" % (args.encode('utf-8')),self.set_query_options)

四、impala 内存限制问题，超出内存查询任务就被杀死

这个猜想有两种可能：
一、就是的确集群的内存不足就该加内存了
二、就是集群中内存足够，只是impala在生成查询计划时，计算的内存使用量比实际须要量小，这个对依赖的表都加上 compute stat 语句，这样impala 在生成查询计划时就能更准确的计算资源使用量
Memory Limit Exceeded
Query(f14d4983f27e4bc9:aef735d6523a7eb7) Limit: Consumption=7.51 GB

五、 impala not in 为 0，

就是在使用 not in 语句时获得的结果为 0 ，但实际上并非
 缘由是表中 in 的字段有 null 值
 PS：impala这个真是坑死我了

六、cdh impala 添加 Llama服务的坑

添加此服务是 Llama 会修改 /yarn/nm/usercache/ 目录的权限，致使hive及mr都执行不了，由于 yarn 须要此目录的读写权限，不事后来改了权限仍是老有问题，干脆就撤掉此服务

七、Impala compute stats

老是遇到问题，猜想是由于元数据刷新延迟的问题，暂时在 compute status前添加 sleep 5s