Phoenix(SQL On HBase)

时间  2019-12-11
标签 phoenix sql hbase 栏目 SQL 繁體版
原文   原文链接

1.简介

 

 

Phoenix是一个HBase框架，能够经过SQL的方式来操做HBase。html

Phoenix是构建在HBase上的一个SQL层，是内嵌在HBase中的JDBC驱动，可以让用户使用标准的JDBC来操做HBase。sql

Phoenix使用JAVA语言进行编写，其查询引擎会将SQL查询语句转换成一个或多个HBase Scanner，且并行执行生成标准的JDBC结果集。apache

 

*若是须要对HBase进行复杂的操做，那么应该使用Phoenix，其会将SQL语句转换成HBase相应的API。app

*Phoenix只能用在HBase上，其查询性能要远高于Hive。框架

 

 

2.Phoenix与HBase的关系

 

Phoenix与HBase中的表是独立的，二者之间没有必然的关系。函数

Phoenix与HBase集成后会建立六张系统表：SYSTEM.CATALOG、SYSTEM.FUNCTION、SYSTEM.LOG、SYSTEM.SEQUENCE、SYSTEM.STATS，其中SYSTEM.CATALOG表用于存放Phoenix建立表时的元数据。oop

Phoenix建立表时会自动调用HBase客户端建立相应的表，而且在SYSTEM.CATALOG系统表中记录Phoenix建立表时的元数据，其主键的值对应HBase的RowKey，非主键的列对应HBase的Column（列族不指定时为0，且列会进行编码）性能

若是是经过Phoenix建立的表，那么必须经过Phoenix客户端来对表进行操做，由于经过Phoenix建立的表其非主键的列会进行编码。优化

 

 

3.Phoenix语法

 

Phoenix的SQL中若是表名、字段名不使用双引号标注那么默认转换成大写。编码

Phoenix中的字符串使用单引号进行标注。 

 

建立表

CREATE TABLE IF NOT EXISTS us_population (
      state CHAR(2) NOT NULL,
      city VARCHAR NOT NULL,
      population BIGINT
      CONSTRAINT my_pk PRIMARY KEY (state, city)
);

*主键的值对应HBase中的RowKey，列族不指定时默认是0，非主键的列对应HBase的列。

 

删除表

DROP TABLE us_population;

 

查询数据

SELECT * FROM us_population WHERE state = 'NA' AND population > 10000 ORDER BY population DESC;

*在进行查询时，支持ORDER BY、GROUP BY、LIMIT、JOIN等操做，同时Phoenix提供了一系列的函数，其中包括COUNT()、MAX()、MIN()、SUM()等，具体的函数列表能够查看：http://phoenix.apache.org/language/functions.html

*无论条件中的列是不是联合主键中的，Phoenix同样能够支持。

 

删除数据

DELETE FROM us_population WHERE state = 'NA';

 

插入或更新数据

UPSERT INTO us_population VALUES('CA','GZ',850000);
UPSERT INTO us_population(state,city) VALUES('CA','GZ');

*若是主键的值重复，那么进行更新操做，不然插入一条新的记录（在进行更新时，没有更新的列保持原值，在进行插入时，没有插入的列为null）

*在使用UPSERT时，主键的列不能为空（包括联合主键）

 

 

4.Phoenix映射HBase 

 

只要直接经过HBase客户端建立的表，若想用Phoenix来进行操做，那么必需要进行表的映射，由于SYSTEM.CATALOG表中并无维护Phoenix建立表的元数据。

 

建立表来进行表的映射

CREATE TABLE IF NOT EXISTS 表名(
  列名 类型 主键,
  列簇.列名,
  列簇.列名
)

*HBase中的RowKey映射Phoenix的主键，HBase中的Column映射Phoenix的列，且使用列簇名.列名进行映射。

*至关于在SYSTEM.CATALOG表中录入相关的元数据，使Phoenix可以进行操做它。

 

建立视图来进行表的映射

CREATE VIEW 视图名(
  列名 类型 主键,
  列簇.列名,
  列簇.列名
)

*Phoenix中的视图只能进行查询，不能进行添加、更新、删除操做。

 

 

5.Phoenix优化

 

1.服务端配置优化

 

 

*往HBase安装目录下的conf目录下的hbase-site.xml文件中添加配置。

 

 

2.对表中的数据进行分区

 

哈希取模

经过在建立表时指定SALE_BUCKETS来实现将表中的数据预分割到多个Region中，有利于提升读取数据的性能。

其原理是将RowKey进行散列，把获得的余数的byte值插入到RowKey的第一个字节中，并经过预约义每一个Region的Start Key和End Key，将数据分散存储到不一样的Region中。

CREATE TABLE IF NOT EXISTS us_population (
      state CHAR(2) NOT NULL,
      city VARCHAR NOT NULL,
      population BIGINT
      CONSTRAINT my_pk PRIMARY KEY (state, city)
)SALT_BUCKETS=16;

*经过SALE_BUCKETS设置哈希函数的除数P（除留余数法）

 

根据值来进行预分区

在建立表时，能够精确的指定RowKey根据什么值来进行预分区，不一样的值存储在独立的Region中，有利于提升读取数据的性能。

CREATE TABLE IF NOT EXISTS us_population (
      state CHAR(2) NOT NULL,
      city VARCHAR NOT NULL,
      population BIGINT
      CONSTRAINT my_pk PRIMARY KEY (state, city)
)SPLIT ON('CS','EU','NA');

 

 

3.建立表时指定列簇

 

在HBase中每一个列簇对应一个文件，若是要查询的列其列簇下只有它本身，那么将极大的提升读取数据的性能。

CREATE TABLE IF NOT EXISTS us_population (
      state CHAR(2) NOT NULL,
      city VARCHAR NOT NULL,
      C1.population BIGINT
      CONSTRAINT my_pk PRIMARY KEY (state, city)
);

*列族只能在非主键列中进行指定。

 

 

4.对表进行压缩

 

在建立表时能够指定表的压缩方式，能极大的提升数据的读写效率。

CREATE TABLE IF NOT EXISTS us_population (
      state CHAR(2) NOT NULL,
      city VARCHAR NOT NULL,
      population BIGINT
      CONSTRAINT my_pk PRIMARY KEY (state, city)
)COMPRESSION='GZ';

*可选的压缩方式包括GZip、Snappy、Lzo等。

 

 

5.使用二级索引

 

在HBase中会自动为RowKey添加索引，所以在经过RowKey查询数据时效率会很高，可是若是要根据其余列来进行组合查询，那么查询的性能就很低下，此时可使用Phoenix提供的二级索引，可以极大的提升查询数据的性能。

 

建立普通索引

CREATE INDEX 索引名称 ON 表名(列名)

 

建立二级索引

CREATE INDEX 索引名称 ON 表名(列名) INCLUDE(列名)

 

 

6.Phoenix的搭建

 

1.安装JDK、Hadoop、Zookeeper、HBase

因为Phoenix是内嵌在HBase的JDBC驱动，且HBase是经过JAVA语言编写的，其基于HDFS，且依赖于Zookeeper进行服务的协调和HA高可用配置，所以须要安装JDK、Hadoop和Zookeeper，并配置好JAVA_HOME环境变量。

 

因为HDFS通常都以集群的方式运行，所以须要搭建HDFS集群并启动。

*在搭建HDFS集群时，须要相互配置SSH使之互相信任而且开放防火墙相应的端口，或者直接关闭防火墙。

 

启动Zookeeper集群

 

因为HBase通常都以集群的方式运行，所以须要搭建HBase集群并启动。 

 

 

2.安装Phoenix

 

选择对应HBase版本的Phoenix版本：http://archive.apache.org/dist

将下载后的hbase-server.jar复制到HBase安装目录的lib目录下。

 

 

3.重启HBase集群

 

因为已经将Phoenix的hbase-server.jar复制到HBase的lib目录下，当HBase集群启动时将会加载Phoenix，并加载hbase-site.xml配置文件（存放HBase和Phoenix的配置），此时可使用Phoenix客户端进行链接，经过标准的JDBC来操做HBase。

*Phoenix第一次启动时，会在HBase中建立六张系统表，用于存放Phoenix的相关信息。

 

 

7.Phoenix客户端

 

使用sqlline.py操做Phoenix

 

Phoenix提供了sqlline.py脚本用于启动Phoenix客户端并进行链接，启动时只须要指定HBase链接的Zookeeper集群地址便可。 

*使用!tables查询经过Phoenix建立的表（即SYSTEM.CATALOG表中的元数据）

 

使用JAVA操做Phoenix

 

导入依赖

<dependency> 
  <groupId>org.apache.phoenix</groupId>  
  <artifactId>phoenix-core</artifactId>  
  <version>4.14.1-HBase-1.2</version> 
</dependency>

 

使用标准的JDBC来操做HBase

//加载驱动
Class.forName("org.apache.phoenix.jdbc.PhoenixDriver");
//经过DriverManager获取链接
Connection conn = DriverManager.getConnection("jdbc:phoenix:192.168.1.80,192.168.1.81,192.168.1.82:2181);
//建立Statement实例
Statement statement = conn.prepareStatement(sql);
//执行增、删、改、查等操做
execute(sql)
executeUpdate(sql)
executeQuery(sql)

 

 完整的PhoenixUtils

/**
 * @Auther: ZHUANGHAOTANG
 * @Date: 2019/1/9 10:24
 * @Description:
 */
public class PhoenixUtils {

    private static final Logger logger = LoggerFactory.getLogger(PhoenixUtils.class);

    private static final String PHOENIX_DRIVER = "org.apache.phoenix.jdbc.PhoenixDriver";

    private static final String PHOENIX_URL = "jdbc:phoenix:192.168.1.80,192.168.1.81,192.168.1.82:2181";

    private static Connection conn = null;

    static {
        try {
            Class.forName(PHOENIX_DRIVER);
            conn = DriverManager.getConnection(PHOENIX_URL);
        } catch (Exception e) {
            logger.info("初始化Phoenix链接时失败", e);
        }
    }

    /**
     * 获取Phoenix中的表(系统表除外)
     */
    public static List<String> getTables() throws Exception {
        List<String> tables = new ArrayList<>();
        DatabaseMetaData metaData = conn.getMetaData();
        String[] types = {"TABLE"}; //"SYSTEM TABLE"
        ResultSet resultSet = metaData.getTables(null, null, null, types);
        while (resultSet.next()) {
            tables.add(resultSet.getString("TABLE_NAME"));
        }
        return tables;
    }

    /**
     * 获取表中的全部数据
     */
    public static List<Map<String, String>> getList(String tableName) throws Exception {
        String sql = "SELECT * FROM " + tableName;
        PreparedStatement preparedStatement = conn.prepareStatement(sql);
        ResultSet resultSet = preparedStatement.executeQuery();
        ResultSetMetaData resultSetMetaData = resultSet.getMetaData();
        List<Map<String, String>> resultList = new ArrayList<>();
        while (resultSet.next()) {
            Map<String, String> result = new HashMap<>();
            for (int i = 1, len = resultSetMetaData.getColumnCount(); i <= len; i++) {
                result.put(resultSetMetaData.getColumnName(i), resultSet.getString(i));
            }
            resultList.add(result);
        }
        return resultList;
    }

}
相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程