Hadoop Hive与Hbase整合+thrift

时间  2019-11-15
标签 hadoop hive hbase 整合 thrift 栏目 Hadoop 繁體版
原文   原文链接
Hadoop Hive与Hbase整合+thrift

1.  简介php

Hive是基于Hadoop的一个数据仓库工具，能够将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，能够将sql语句转换为MapReduce任务进行运行。 其优势是学习成本低，能够经过类SQL语句快速实现简单的MapReduce统计，没必要开发专门的MapReduce应用，十分适合数据仓库的统计分析。html

Hive与HBase的整合功能的实现是利用二者自己对外的API接口互相进行通讯，相互通讯主要是依靠hive_hbase-handler.jar工具类， 大体意思如图所示：java

 

 

2.  Hive项目介绍node

 

 

项目结构
 

Hive配置文件介绍
•hive-site.xml      hive的配置文件
•hive-env.sh        hive的运行环境文件
•hive-default.xml.template  默认模板
•hive-env.sh.template     hive-env.sh默认配置
•hive-exec-log4j.properties.template   exec默认配置
• hive-log4j.properties.template log默认配置
hive-site.xml
< property>
  <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:MySQL://localhost:3306/hive?createData baseIfNotExist=true</value>
  <description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
  <description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
   <description>username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
   <value>test</value>
   <description>password to use against metastore database</description>
</property>
  mysql

hive-env.sh
•配置Hive的配置文件路径
•export HIVE_CONF_DIR= your path
•配置Hadoop的安装路径
•HADOOP_HOME=your hadoop homelinux

咱们按数据元的存储方式不一样安装。sql

 

 

3.  使用Derby数据库安装shell

 

什么是Derby安装方式
•Apache Derby是一个彻底用java编写的数据库，因此能够跨平台，但须要在JVM中运行
•Derby是一个Open source的产品，基于Apache License 2.0分发
•即将元数据存储在Derby数据库中，也是Hive默认的安装方式

 

 

1 .Hadoop和Hbase都已经成功安装了

Hadoop集群配置：http://blog.csdn.net/hguisu/article/details/723739数据库

hbase安装配置：http://blog.csdn.net/hguisu/article/details/7244413apache

2. 下载hive

hive目前最新的版本是0.12，咱们先从http://mirror.bit.edu.cn/apache/hive/hive-0.12.0/ 上下载hive-0.12.0.tar.gz，可是请注意，此版本基因而基于hadoop1.3和hbase0.94的（若是安装hadoop2.X ，咱们须要修改相应的内容）

3. 安装：

tar zxvf hive-0.12.0.tar.gz 

 cd hive-0.12.0

 

4. 替换jar包，与hbase0.96和hadoop2.2版本一致。

   因为咱们下载的hive是基于hadoop1.3和hbase0.94的，因此必须进行替换，由于咱们的hbse0.96是基于hadoop2.2的，因此咱们必须先解决hive的hadoop版本问题，目前咱们从官网下载的hive都是用1.几的版本编译的，所以咱们须要本身下载源码来用hadoop2.X的版本从新编译hive，这个过程也很简单，只须要以下步骤：
 
    1. 先从 http://svn.apache.org/repos/asf/hive/branches/branch-0.12 或者是 http://svn.apache.org/repos/asf/hive/trunk   咱们下载到/home/hadoop/branch-0.12下。
 
    2.   branch-0.12是使用ant编译，trunk下面是使用maven编译，若是未按照maven，须要从 http://maven.apache.org/download.cgi 下载maven，或者使用yum install maven。而后解压出来并在PATH下把$maven_home/bin加入或者使用连接（ln -s /usr/local/bin/mvn $maven_home/bin ）.而后就是使用mvn 命令。运行mvn -v就能知道maven是否配置成功
 
       3.   配置好maven开始编译hive，咱们cd到下载源码的 branch-0.12 目录，而后运行mvn clean package -DskipTests -Phadoop-2开始编译
 
    4.编译好后的新jar包是存放在各个模块下的target的，这些新jar包的名字都叫hive-***-0.13.0-SNAPSHOT.jar，***为hive下的模块名，咱们须要运行命令将其拷贝到hive-0.12.0/lib下。
    find /home/hadoop/branch-0.12  -name "hive*SNAPSHOT.jar"|xargs -i cp {} /home/hadoop/hive-0.12.0/lib。拷贝过去后咱们比照着删除原lib下对应的0.12版本的jar包。
  
    5. 接着咱们同步hbase的版本，先cd到hive0.12.0/lib下，将hive-0.12.0/lib下hbase-0.94开头的那两个jar包删掉，而后从/home/hadoop/hbase-0.96.0-hadoop2/lib下hbase开头的包都拷贝过来
     find /home/hadoop/hbase-0.96.0-hadoop/lib -name "hbase*.jar"|xargs -i cp {} ./
 
    6. 基本的同步完成了，重点检查下zookeeper和protobuf的jar包是否和hbase保持一致，若是不一致，

       拷贝protobuf.**.jar和zookeeper-3.4.5.jar到hive/lib下。

  
   7.若是用mysql当原数据库，
      别忘了找一个mysql的jdbcjar包mysql-connector-java-3.1.12-bin.jar也拷贝到hive-0.12.0/lib下
 

5. 配置hive

•进入hive-0.12/conf目录
•依据hive-env.sh.template，建立hive-env.sh文件
•cp  hive-env.sh.template hive-env.sh
•修改hive-env.sh
•指定hive配置文件的路径
•export HIVE_CONF_DIR=/home/hadoop/hive-0.12/conf
•指定Hadoop路径
• HADOOP_HOME=/home/hadoop/hadoop-2.2.0
  
 
 
 
 
 
  hive-site.xml 
 
 
 
 
  

      
  
 
  
 
   
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>

<!-- Hive Execution Parameters -->

<property>
  <name>hive.exec.reducers.bytes.per.reducer</name>
  <value>1000000000</value>
  <description>size per reducer.The default is 1G, i.e if the input size is 10G, it will use 10 reducers.</description>
</property>

<property>
  <name>hive.exec.reducers.max</name>
  <value>999</value>
  <description>max number of reducers will be used. If the one
        specified in the configuration parameter mapred.reduce.tasks is
        negative, hive will use this one as the max number of reducers when
        automatically determine number of reducers.</description>
</property>

<property>
  <name>hive.exec.scratchdir</name>
  <value>/hive/scratchdir</value>
  <description>Scratch space for Hive jobs</description>
</property>

<property>
  <name>hive.exec.local.scratchdir</name>
  <value>/tmp/${user.name}</value>
  <description>Local scratch space for Hive jobs</description>
</property>
<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:derby:;databaseName=metastore_db;create=true</value>
  <description>JDBC connect string for a JDBC metastore</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>org.apache.derby.jdbc.EmbeddedDriver</value>
  <description>Driver class name for a JDBC metastore</description>
</property>

<property>
  <name>javax.jdo.PersistenceManagerFactoryClass</name>
  <value>org.datanucleus.api.jdo.JDOPersistenceManagerFactory</value>
  <description>class implementing the jdo persistence</description>
</property>

<property>
  <name>javax.jdo.option.DetachAllOnCommit</name>
  <value>true</value>
  <description>detaches all objects from session so that they can be used after transaction is committed</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>APP</value>
  <description>username to use against metastore database</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>mine</value>
  <description>password to use against metastore database</description>
</property>

<property>
  <name>hive.metastore.warehouse.dir</name>
  <value>/hive/warehousedir</value>
  <description>location of default database for the warehouse</description>
</property>


<property>
 <name>hive.aux.jars.path</name>
  <value>
  file:///home/hadoop/hive-0.12.0/lib/hive-ant-0.13.0-SNAPSHOT.jar,
  file:///home/hadoop/hive-0.12.0/lib/protobuf-java-2.4.1.jar,
  file:///home/hadoop/hive-0.12.0/lib/hbase-client-0.96.0-hadoop2.jar,
  file:///home/hadoop/hive-0.12.0/lib/hbase-common-0.96.0-hadoop2.jar,
  file:///home/hadoop/hive-0.12.0/lib/zookeeper-3.4.5.jar,
  file:///home/hadoop/hive-0.12.0/lib/guava-11.0.2.jar
  </value>
</property>
 
  
 
  

      
  
 
  
 
  
 
 
  

    Hive使用Hadoop，这意味着你必须在PATH里面设置了hadoop路径，或者导出export HADOOP_HOME=<hadoop-install-dir>也能够。 
  
 
  

    另外，你必须在建立Hive库表前，在HDFS上建立/tmp和/hive/warehousedir（也称为hive.metastore.warehouse.dir的），而且将它们的权限设置为chmod g+w。完成这个操做的命令以下： 
   
$ $HADOOP_HOME/bin/hadoop fs -mkdir /tmp 
   
$ $HADOOP_HOME/bin/hadoop fs -mkdir /hive/warehousedir 
   
$ $HADOOP_HOME/bin/hadoop fs -chmod g+w /tmp 
   
$ $HADOOP_HOME/bin/hadoop fs -chmod g+w/hive/warehousedir 
   
    我一样发现设置HIVE_HOME是很重要的，但并不是必须。 
   
$ export HIVE_HOME=<hive-install-dir> 
   
    在Shell中使用Hive命令行(cli)模式： 
   
$ $HIVE_HOME/bin/hive 
  
 
  
 
   
5. 启动hive
 
   
1）.单节点启动
 
   
#bin/hive -hiveconf hbase.master=master:490001
 
   
2） 集群启动：
 
   
#bin/hive -hiveconf hbase.zookeeper.quorum=node1,node2,node3
 
   
如何hive-site.xml文件中没有配置hive.aux.jars.path，则能够按照以下方式启动。
 
   
bin/hive --auxpath /usr/local/hive/lib/hive-hbase-handler-0.96.0.jar, /usr/local/hive/lib/hbase-0.96.jar, /usr/local/hive/lib/zookeeper-3.3.2.jar -hiveconf hbase.zookeeper.quorum=node1,node2,node3
 启动直接#bin/hive 也能够。 
  
 
  
 
   
6 测试hive
 
   

     •创建测试表pokes 
   
 
   

     hive> CREATE TABLE pokes (foo INT, bar STRING); 
    
OK 
    
Time taken: 1.842 seconds 
    
hive> show tables;                              
    
OK 
    
pokes 
    
Time taken: 0.182 seconds, Fetched: 1 row(s) 
   
 
   

       
   
 
   

     •数据导入pokes 
    
hive> LOAD DATA LOCAL INPATH './examples/files/kv1.txt' OVERWRITE INTO pokse 
   
 
   

       
   
 
   

     而后查看hadoop的文件： 
   
 
   

     bin/hadoop dfs -ls /hive/warehousedir 
   
 
   

     看到新增一个文件： 
   
 
   

     drwxr-xr-x   - hadoop supergroup     0  09:06 /hive/warehousedir/pokes 
   
 
  
 
  
 
  
注：使用derby存储方式时，运行hive会在当前目录生成一个derby文件和一个metastore_db目录。这种存储方式的弊端是在同一个目录下同时只能有一个hive客户端能使用数据库，不然报错。
 
  
 
 
  
 
 
  
4.  使用MYSQL数据库的方式安装
 
  
 
   
 
    
 
     
安装MySQL
• Ubuntu 采用apt-get安装
• sudo apt-get install mysql-server
• 创建数据库hive
• create database hivemeta
• 建立hive用户,并受权
• grant all on hive.* to hive@'%'  identified by 'hive';  
• flush privileges;  
 
     
咱们直接修改hive-site.xml就能够啦。
 
    
 
   
 
  
 
  
 
   修改hive-site.xml 
  
 
  
 
   <?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>


<property>
  <name>hive.exec.scratchdir</name>
  <value>/hive/scratchdir</value>
  <description>Scratch space for Hive jobs</description>
</property>


<property>
  <name>hive.exec.local.scratchdir</name>
  <value>/tmp/${user.name}</value>
  <description>Local scratch space for Hive jobs</description>
</property>
<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://192.168.1.214:3306/hiveMeta?createDatabaseIfNotExist=true</value>
  <description>JDBC connect string for a JDBC metastore</description>
</property>


<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
  <description>Driver class name for a JDBC metastore</description>
</property>


<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>hive</value>
  <description>username to use against metastore database</description>
</property>


<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>hive</value>
  <description>password to use against metastore database</description>
</property>


<property>
  <name>hive.metastore.warehouse.dir</name>
  <value>/hive/warehousedir</value>
  <description>location of default database for the warehouse</description>
</property>

<property>
 <name>hive.aux.jars.path</name>
  <value>
  file:///home/hadoop/hive-0.12.0/lib/hive-ant-0.13.0-SNAPSHOT.jar,
  file:///home/hadoop/hive-0.12.0/lib/protobuf-java-2.4.1.jar,
  file:///home/hadoop/hive-0.12.0/lib/hbase-client-0.96.0-hadoop2.jar,
  file:///home/hadoop/hive-0.12.0/lib/hbase-common-0.96.0-hadoop2.jar,
  file:///home/hadoop/hive-0.12.0/lib/zookeeper-3.4.5.jar,
  file:///home/hadoop/hive-0.12.0/lib/guava-11.0.2.jar
  </value>
</property> 
  
 
  

      
  
 
  

    jdbc:mysql://192.168.1.214:3306/hiveMeta?createDatabaseIfNotExist=true 
  
 
  
 
   
 
    
 
     
 
      
 
       
 
        
 
         

           其中hiveMeta是mysql的数据库名。createDatabaseIfNotExist没有就自动建立 
         
 
         

             
         
 
        
 
       
 
      
 
     
 
    
 
   
 
  
 
  
本地mysql启动hive ：
 
  
 
 
  
直接运行#bin/hive 就能够。
 
  
 
   
 
    
 
     
 
      
 
       
 
        
 
         
 
          

              
          
 
         
 
        
 
       
 
      
 
     
 
    
 
   
 
  
 
  
远端mysql方式，启动hive：
 
  
 
 
  
服务器端（192.168.1.214上机master上）：
 
  
 
   
 
    
 
     
 
      
 
       
 
        
 
         

             
         
 
        
 
       
 
      
 
     
 
    
 
   
 
  
 
  
     在服务器端启动一个 MetaStoreServer，客户端利用 Thrift 协议经过 MetaStoreServer 访问元数据库。
 
  
 
   
 
    
 
     
 
      
 
       
 
        
 
         

             
         
 
         
 
          

               启动hive，这个又能够分为启动metastore和hiveserver，其中metastore用于和mysql之间的表结构建立或更新时通信，hiveserver用于客户端链接，这这个都要启动，具体的启动命令： 
          
 
          
 
           

             启动metastore： 
            hive --service metastore    
            -hiveconf hbase.zookeeper.quorum=node1,node2，node3 -hiveconf hbase.zookeeper.property.clientPort=2222 （远程mysql须要启动） 
           
 
           

               
           
 
           

             启动hiveservice： 
            hive --service hiveserver   
            -hiveconf hbase.zookeeper.quorum= 
            node1, 
            node2，node3  
             -hiveconf hbase.zookeeper.property.clientPort=2222 (启动服务，这样jdbc:hive就能连上，默认10000端口，后面的部分必定要带上，不然用eclipse链接不上的) 
           
 
          
 
          

             起来后咱们在eclipse就可使用jdbc:hive来链接了。如 
          
 
          
 
           

                     Class. 
            forName("org.apache.hadoop.hive.jdbc.HiveDriver"); 
           
 
           

                      
            Connection conn = DriverManager.getConnection("jdbc:hive://server1:10000/hiveMeta","root","111111"); 
           
          
           return conn; 
          
 
          

            其实使用上和普通的数据库已经很类似了，除了建表的语句有一些差异。 
          
 
          

              
          
 
          
 
           

             固然你也能够在hive-0.12.0/bin运行 
           
 
           

             hive  -hiveconf hive.root.logger=DEBUG,console  
            -hiveconf hbase.zookeeper.quorum=server2,server3 
             -hiveconf hbase.zookeeper.property.clientPort=2222 
           
 
           
 
            其中 hbase.zookeeper.property.clientPort就是hbase-site.xml配置的zookeeper的端口号。
 
           
 
           

               
           
 
          
 
         
 
        
 
       
 
      
 
     
 
    
 
   
 
  
 
  
客户端hive 的hive-site.xml配置文件：
 
  
 
   
 
    
 
     
 
      
 
       
 
        
 
         
 
          
 
           
 
            
 
             
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
 
<configuration>

<property>
  <name>hive.metastore.warehouse.dir</name>
  <value>/hive/warehousedir</value>
</property>
 
<property>
  <name>hive.metastore.local</name>
  <value>false</value>
</property>

<property>
  <name>hive.metastore.uris</name>
  <value>thrift://192.168.1.214:9083</value>
</property>

</configuration>

 
             

               这一步，咱们新加了配置 
             
 
             

               <property>   
              
  <name>hive.metastore.uris</name>   
              
  <value>thrift://192.168.1.214:9083</value>   
              
</property>   
             
 
            
 
            

              这个就是使用thrift访问的端口配置。 
             thrift://192.168.1.214:9083就是hive元数据访问路径。 
            
 
            
 
             
 
            
 进入hive客户端，运行show tables; 
           
 
           

               
           
 
          
 
          

            至此，能够在linux用各类shell来测试，也能够经过eclipse链接到hive来测试，和经过jdbc链接普通数据库一致 
          
 
          

              
          
 
          

            hive的服务端和客户端均可以放在同一台服务器上： 
          
 
          

            hive-site.xml 
          
 
         
 
        
 
       
 
      
 
     
 
    
 
   
 
  
 
  
 
   
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>


<property>
  <name>hive.exec.scratchdir</name>
  <value>/hive/scratchdir</value>
  <description>Scratch space for Hive jobs</description>
</property>


<property>
  <name>hive.exec.local.scratchdir</name>
  <value>/tmp/${user.name}</value>
  <description>Local scratch space for Hive jobs</description>
</property>
<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://192.168.1.214:3306/hiveMeta?createDatabaseIfNotExist=true</value>
  <description>JDBC connect string for a JDBC metastore</description>
</property>


<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
  <description>Driver class name for a JDBC metastore</description>
</property>


<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>hive</value>
  <description>username to use against metastore database</description>
</property>


<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>hive</value>
  <description>password to use against metastore database</description>
</property>


<property>
  <name>hive.metastore.warehouse.dir</name>
  <value>/hive/warehousedir</value>
  <description>location of default database for the warehouse</description>
</property>

<property>
 <name>hive.aux.jars.path</name>
  <value>
  file:///home/hadoop/hive-0.12.0/lib/hive-ant-0.13.0-SNAPSHOT.jar,
  file:///home/hadoop/hive-0.12.0/lib/protobuf-java-2.4.1.jar,
  file:///home/hadoop/hive-0.12.0/lib/hbase-client-0.96.0-hadoop2.jar,
  file:///home/hadoop/hive-0.12.0/lib/hbase-common-0.96.0-hadoop2.jar,
  file:///home/hadoop/hive-0.12.0/lib/zookeeper-3.4.5.jar,
  file:///home/hadoop/hive-0.12.0/lib/guava-11.0.2.jar
  </value>

<property>  
  <name>hive.metastore.uris</name>  
  <value>thrift://192.168.1.214:9083</value>  
</property>  
</property>
 
   
 
   
 
  
 
  
 
   
 
    
 
     
 
      
 
       
 
        
 
         
 
          
 
           
 
           
 
          
 
         
 
        
 
       
 
      
 
     
 
    
 
   
 
  
 
  
 
 
  
4.  与Hbase整合
 
  
 
 
  
 
   
 
    
 
     
以前咱们测试建立表的都是建立本地表,非hbase对应表。如今咱们整合回到hbase。
 
    
 
   
 
  
 
  
1.建立hbase识别的数据库：
 
  
CREATE TABLE hbase_table_1(key int, value string)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val")
TBLPROPERTIES ("hbase.table.name" = "xyz");  
 
  
hbase.table.name 定义在hbase的table名称
 
  
hbase.columns.mapping 定义在hbase的列族 
 
  
 
 
  
在hbase 下也能看到，两边新增数据都能实时看到。
 
  
能够登陆Hbase去查看数据了
#bin/hbase shell
hbase(main):001:0> describe 'xyz'  
hbase(main):002:0> scan 'xyz'  
hbase(main):003:0> put 'xyz','100','cf1:val','www.360buy.com'

这时在Hive中能够看到刚才在Hbase中插入的数据了。
 
  
2.使用sql导入数据
 
  

      
  
 
  

    若是要insert 与hbase整合的表，不能像本地表同样load，须要利用已有的表进行。 
   如 
  
 
  

    insert overwrite hbase_table_1 hivetest select * from pokes   
  
 
  
 
   注意两个的类型要一致，不然用insert overwrite table hivetest select * from table_hive; 导不进去数据 
  
 
  

      
  
 
  
使用sql导入hbase_table_1:
 
  
hive> INSERT OVERWRITE TABLE hbase_table_1 SELECT * FROM pokes WHERE foo=86; 
 
  
 
 
  
3 hive访问已经存在的hbase
 
  
使用CREATE EXTERNAL TABLE:
 
  
CREATE EXTERNAL TABLE hbase_table_2(key int, value string)      
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = "cf1:val")
TBLPROPERTIES("hbase.table.name" = "some_existing_table");


 
  
内容参考：http://wiki.apache.org/hadoop/Hive/HBaseIntegration
 
  
 
 
  
5.  问题
 
  
 
 
  
bin/hive 执行show tables 报错：
 
  
Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient
 
  
若是是使用Derby数据库的安装方式，查看
 
  
<property>
  <name>hive.metastore.warehouse.dir</name>
  <value>/hive/warehousedir</value>
  <description>location of default database for the warehouse</description>
</property>
 
  
配置是否正确，
 
  
或者

<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:derby:;databaseName=metastore_db;create=true</value>
  <description>JDBC connect string for a JDBC metastore</description>
</property>
 
  
是否有权限访问。
 
  
若是配置了mysql的Metastore方式,检查的权限：
 
  
 bin/hive  -hiveconf hive.root.logger=DEBUG,console  
 
  
而后show tables 就会看到ava.sql.SQLException: Access denied for user 'hive'@'××××8' (using password: YES) 之类从错误消息。
 
  
 
 
  
 
 
  
执行
 
  
CREATE TABLE hbase_table_1(key int, value string)  
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'  
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val")  
TBLPROPERTIES ("hbase.table.name" = "xyz");
 
  
报错：
 
  
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:org.apache.hadoop.hbase.MasterNotRunningException: Retried 10 times
 
  
出现这个错误的缘由是引入的hbase包和hive自带的hive包冲突，删除hive/lib下的 hbase-0.94.×××.jar， OK了。
 
  
同时也要移走hive-0.12**.jar 包。
 
  
 
 
  
执行
 
  
hive>select uid from user limit 100;
 
  
Java.io.IOException: Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses.
 
  
 
 
  
解决：修改$HIVE_HOME/conf/hive-env.sh文件，加入
 
  
export HADOOP_HOME=hadoop的安装目录
 
  
 
 
  
 
  
 
 
  
5.  经过thrift访问hive（使用php作客户端）
 
  
 
 
  
php链接hive执行sql查询
 
  
 
 
  
使用php链接hive的条件：
 
  
 
 
  
 
 
  
1. 下载thrift
 
  
 
 
  
wget http://mirror.bjtu.edu.cn/apache//thrift/0.9.1/thrift-0.9.1.tar.gz
 
  
 
  
2. 解压
 
  
tar -xzf thrift-0.9.1.tar.gz
 
  
3 .编译安装：
 
  
若是是源码编译的，首先要使用./boostrap.sh建立文件./configure ，咱们这下载的tar包，自带有configure文件了。(（能够查阅README文件）)
 
  
If you are building from the first time out of the source repository, you will
need to generate the configure scripts.  (This is not necessary if you
downloaded a tarball.)  From the top directory, do:
./bootstrap.sh
 
  
./configure
 
  
1  须要安装thrift  安装步骤
 
  
#  ./configure --without-ruby 
 
  
不要使用ruby，
 
  
 
 
  
make ; make install
 
  
若是没有安装libevent libevent-devel的应该先安装这两个依赖库yum -y install libevent libevent-devel
 
  
其实Thrift就是使用来生成客户端和服务器端代码的。在这里没用到。
 
  
 
 
  
安装好后启动hive thrift
 
  
# ./hive --service hiveserver >/dev/null 2>/dev/null &
 
  
查看hiveserver默认端口是否打开10000   若是打开表示成功，在官网wiki有介绍文章：https://cwiki.apache.org/confluence/display/Hive/HiveServer
 
  
 
 
  
Thrift Hive Server
 
  
 
 
  
HiveServer is an optional service that allows a remote client to submit requests to Hive, using a variety of programming languages, and retrieve results. HiveServer is built on Apache ThriftTM(http://thrift.apache.org/), therefore it is sometimes called the Thrift server although this can lead to confusion because a newer service named HiveServer2 is also built on Thrift.
 
  
Thrift's interface definition language (IDL) file for HiveServer is hive_service.thrift, which is installed in $HIVE_HOME/service/if/.
 
  
 
   
WARNING!
 
   Icon 
   
 
    
HiveServer cannot handle concurrent requests from more than one client. This is actually a limitation imposed by the Thrift interface that HiveServer exports, and can't be resolved by modifying the HiveServer code.
HiveServer2 is a rewrite of HiveServer that addresses these problems, starting with Hive 0.11.0. See HIVE-2935.
 
   
 
  
 
  
Once Hive has been built using steps in Getting Started, the Thrift server can be started by running the following:
 
  
 
   
 
    0.8 and Later 
   
 
   
 
    
 
     
 
       
       
 
         
         
 
          
 
           $ build 
           /dist/bin/hive  
           --service hiveserver --help 
          
 
          
 
           usage: hiveserver 
          
 
          
 
             
           -h,--help                        Print help information 
          
 
          
 
                
           --hiveconf <property=value>   Use value  
           for  
           given property 
          
 
          
 
                
           --maxWorkerThreads <arg>      maximum number of worker threads, 
          
 
          
 
                                              
           default:2147483647 
          
 
          
 
                
           --minWorkerThreads <arg>      minimum number of worker threads, 
          
 
          
 
                                              
           default:100 
          
 
          
 
             
           -p <port>                        Hive Server port number, default:10000 
          
 
          
 
             
           - 
           v 
           ,--verbose                     Verbose mode 
          
 
          

              
          
 
          
 
           $ bin 
           /hive  
           --service hiveserver 
          
 
         
 		 
       
 
       
     
 
    
 
   
 
  
 
  
 
 
  
 
 
  
下载php客户端包：
 
  
其实hive-0.12包中自带的php lib，经测试，该包报php语法错误。命名空间的名称居然是空的。
 
  
我上传php客户端包：http://download.csdn.net/detail/hguisu/6913673（源下载http://download.csdn.net/detail/jiedushi/3409880）
 
  
 
 
  
php链接hive客户端代码
 
  
 
 
  
<?php
// php链接hive thrift依赖包路径
ini_set('display_errors', 1);
error_reporting(E_ALL);
$GLOBALS['THRIFT_ROOT'] = dirname(__FILE__). "/";
// load the required files for connecting to Hive
require_once $GLOBALS['THRIFT_ROOT'] . 'packages/hive_service/ThriftHive.php';
require_once $GLOBALS['THRIFT_ROOT'] . 'transport/TSocket.php';
require_once $GLOBALS['THRIFT_ROOT'] . 'protocol/TBinaryProtocol.php';
// Set up the transport/protocol/client
$transport = new TSocket('192.168.1.214', 10000);
$protocol = new TBinaryProtocol($transport);

//$protocol = new TBinaryProtocolAccelerated($transport);

$client = new ThriftHiveClient($protocol);
$transport->open();

// run queries, metadata calls etc

$client->execute('show tables');
var_dump($client->fetchAll());
$transport->close();

?>
 
  
 
 
  
 
 
  
打开浏览器浏览http://localhost/Thrift/test.php就能够看到查询结果了
  
 
 



        

            

        	





    

		

            
相关文章

            

                

                

                    

                

            


            
相关标签/搜索

            
        


    

        

            

        

        

        
        

        

        

    




	

    





    

    	

    

        每日一句
    

    
    
    	每一个你不满意的现在，都有一个你没有努力的曾经。
    







    

    


    



    

        本站公众号
    

    

           欢迎关注本站公众号,获取更多信息

        
    




    

    




	


	







    

        联系我们
        最近搜索
        最新文章
        
        沪ICP备13005482号-10

            MyBatis教程
            SQL 教程
            MySQL教程
            Java 教程
            Thymeleaf 教程
            Hibernate教程
            Spring教程 
            Redis教程