impala系列: 基本命令和jdbc链接

 

--=======================
使用impala-shell 登陆
--=======================
impala-shell --auth_creds_ok_in_clear -l -i ip_address -u user_name

--=======================
JDBC driver
--=======================
Impala 官方jdbc driver有一些bug很致命的bug, 好比Insert 中文字符, 只能将前面一小段插入到数据库中, 应该是没有考虑中文字符长度不一样于ascii码, 性能也比Hive Jdbc driver差, 至少, impala 2.5.43.1063版本测试是这样的. 因此, 推荐使用 hive2 jdbc driver去链接impala, 好比使用cdh5.10的 hive-jdbc-1.1.0-cdh5.10.0, 固然 jdbc url 应该仍是 impala jdbc url的写法, 使用 须要说明的是, Kettle 的 Output组件使用Hive driver时候, 必须列出目标表所有的字段, 并且字段的顺序必须按照建表语句的顺序, 不然会报错.

impala jdbc url 的写法:
须要密码的jdbc url写法(test为默认数据库)
jdbc:impala://ip_address:21050/test;AuthMech=3;SSL=0
免密码的jdbc url写法(test为默认数据库)
jdbc:impala://ip_address:21050/test;AuthMech=0;SSL=0
在配置过程当中碰到了好几个错误, [Simba][ImpalaJDBCDriver](500151) Error setting/closing session: {0}. 须要注意的是端口 和 jdbc 参数 AuthMech 和 SSL.

--=======================
impala JDBC 查询GUI工具
--=======================
dbeaver: 能够经过hive/impala driver 链接 impala, 固然推荐 hive driver.
DBVisualizer 9: 暂时还不能使用impala jdbc链接, 但能够经过hive jdbc链接.
Kettle 7.1, 能够经过hive/impala driver 链接 impala, 固然推荐 hive driver. 确保将全部相关的jar 复制到目录 pdi-ce-7.1.0.0-12\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\cdh510\lib 中.

也能够这些查询工具或Kettle上为jdbc connectionjdbc设置下面常常使用的参数:
set request_pool=etl; -- 设置使用 etl 资源池
set mem_limit=-1; -- 取消内存限制
set mem_limit=10G; -- 设置工具级别的内存10G(单节点上的内存量)

--=======================
impala 经常使用命令
--=======================
show databases; --查看全部schema;
show tables; --查看默认schema下的表
show tables in schema_name; --查看指定schema下的表
show tables in schema_name like 'dim'; --在指定schema 下查看dim表；
use schema_name; --进入指定的schema_name
desc table_name; --查看指定表的表字段;
create database some_schema; --建立一个schema
show create table some_schema.some_table; --显示建表语句
SHOW TABLE STATS table_name ; -- 显示一个表的统计信息
COMPUTE STATS table_name; --对表收集统计信息
SHOW PARTITIONS [database_name.]table_name ; -- 显示partition
SHOW RANGE PARTITIONS [database_name.]table_name ; -- 显示range partition
show files in table_name ; -- 显示指定表后台的数据文件

SHOW ROLES ; -- 显示impala中的角色
SHOW CURRENT ROLES ; -- 显示当前用户的角色

impala session 级别设置:
set request_pool=etl; -- 设置使用 etl 资源池
set mem_limit=-1; -- 取消内存限制
set mem_limit=10G; -- 设置内存10G(单节点上的内存量), impala 常常会over estimate SQL语句须要的资源, 因此强烈建议在执行SQL以前, 使用 set mem_limit 限制SQL的内存消耗, 一个查询可使用的最大内存为MEM_LIMIT * 节点数

--=======================
impala 默认的链接端口:
--=======================
port:21000, for impala-shell and ODBC driver 1.2.
port:21050, for JDBC and for ODBC driver 2.
其余服务端口见 https://www.cloudera.com/documentation/enterprise/5-7-x/topics/impala_ports.html

--=======================
jdbc链接常见错误
--=======================
更多内容参考 jdbc 安装包中的说明文档: Cloudera-JDBC-Driver-for-Impala-Install-Guide.pdf
java 程序的链接字符串示例 jdbc:impala://node1.example.com:21050/default2;AuthMech=3;UID=cloudera;PWD=cloudera

https://stackoverflow.com/questions/38775150/impala-jdbc-connection-error-setting-closing-session-open-session-error

AuthMech 参数
Set the value to one of the following numbers:

• 0 for No Authentication
• 1 for Kerberos
• 2 for User Name
• 3 for User Name and Password

SSL 参数

• 0, not connect to SSL-enabled sockets.
• 1, through an SSL-enabled socket.