hive_学习_02_hive整合hbase（失败）

 1、前言

本文承接上一篇：hive_学习_01_hive环境搭建(单机) ，主要是记录 hive 整合hbase的流程

2、环境准备

1.环境准备

操做系统 : linux CentOS 6.8

jdk ：1.7

cdh版本为： 5.9.3

mysql ：  5.1.73 

hadoop-2.6.0-cdh5.9.3 

hbase-1.2.0-cdh5.9.3

hive-1.1.0-cdh5.9.3

 

2.安装mysql

 

3.安装hadoop 

参考：hadoop_学习_02_Hadoop环境搭建(单机)

 

4.安装 hbase

参考：hbase_学习_01_HBase环境搭建(单机)

 

5.安装hive

参考：hive_学习_01_hive环境搭建(单机) 

 

3、服务器基本配置

1.配置主机名

（1）修改 hostname

sudo vim /etc/sysconfig/network

 将HOSTNAME修改成 rayner (改为你本身的，全部的地方一致便可)

 

（2）映射主机 ip 与主机名

sudo vim /etc/hosts

加入如下配置：

192.168.1.102  rayner

 

 

 2.关闭防火墙

关闭防火墙，这样就能够在本机 window 中访问虚拟机的全部端口了

CentOS 7版本如下输入:

service   iptables stop

CentOS 7 以上的版本输入：

systemctl   stop   firewalld.service

 

3.时间设置

输入:

date

查看服务器时间是否一致，若不一致则更改

更改时间命令

date -s ‘MMDDhhmmYYYY.ss’

 

4、知识准备

1.Hive和HBase的通讯意图

Hive与HBase整合的实现是利用二者自己对外的API接口互相通讯来完成的，其具体工做交由Hive的lib目录中的hive-hbase-handler-*.jar工具类来实现，通讯原理以下图所示。

 

 

 

 

2.Hive整合HBase后的使用场景：

（一）经过Hive把数据加载到HBase中，数据源能够是文件也能够是Hive中的表。
（二）经过整合，让HBase支持JOIN、GROUP等SQL查询语法。
（三）经过整合，不只可完成HBase的数据实时查询，也能够使用Hive查询HBase中的数据完成复杂的数据分析。

 

5、hive整合hbase

由于Hive与HBase整合的实现是利用二者自己对外的API接口互相通讯来完成的，其具体工做交由Hive的lib目录中的hive-hbase-handler-.jar工具类来实现。

因此只须要将hive的 hive-hbase-handler-.jar 复制到hbase/lib中就能够了。

 

6、hive 和 hbase 测试

 在进行测试的时候，确保hadoop、hbase、hive环境已经成功搭建好，而且都成功启动了。

 

 

7、参考资料

1.大数据学习系列之五 ----- Hive整合HBase图文详解

2.Hive HBase Integration