大数据学习系列之五 ----- Hive整合HBase图文详解

时间 2019-11-18

标签数据学习系列之五 hive 整合 hbase 图文详解栏目 Hadoop 繁體版

原文原文链接

引言

在上一篇大数据学习系列之四 ----- Hadoop+Hive环境搭建图文详解(单机) 和以前的大数据学习系列之二 ----- HBase环境搭建(单机) 中成功搭建了Hive和HBase的环境，并进行了相应的测试。本文主要讲的是如何将Hive和HBase进行整合。java

Hive和HBase的通讯意图

Hive与HBase整合的实现是利用二者自己对外的API接口互相通讯来完成的，其具体工做交由Hive的lib目录中的hive-hbase-handler-*.jar工具类来实现，通讯原理以下图所示。
node

Hive整合HBase后的使用场景：

（一）经过Hive把数据加载到HBase中，数据源能够是文件也能够是Hive中的表。
（二）经过整合，让HBase支持JOIN、GROUP等SQL查询语法。
（三）经过整合，不只可完成HBase的数据实时查询，也可使用Hive查询HBase中的数据完成复杂的数据分析。mysql

1、环境选择

1，服务器选择

本地虚拟机
操做系统:linux CentOS 7
Cpu：2核
内存：2G
硬盘:40Glinux

2，配置选择

JDK:1.8 （jdk-8u144-linux-x64.tar.gz）
Hadoop:2.8.2 (hadoop-2.8.2.tar.gz)
Hive： 2.1 (apache-hive-2.1.1-bin.tar.gz)
HBase:1.6.2 (hbase-1.2.6-bin.tar.gz)sql

3，下载地址

官网地址
JDK：
http://www.oracle.com/technetwork/java/javase/downloads
Hadopp:
http://www.apache.org/dyn/closer.cgi/hadoop/common
Hive
http://mirror.bit.edu.cn/apache/hive/
HBase:
http://mirror.bit.edu.cn/apache/hbase/shell

百度云盘
连接：https://pan.baidu.com/s/1jIemIDC 密码：uycu数据库

2、服务器的相关配置

在配置Hadoop+Hive+HBase以前，应该先作一下配置。
作这些配置为了方便，使用root权限。apache

1，更改主机名

首先更改主机名，目的是为了方便管理。
输入:vim

hostname

查看本机的名称
而后更改主机名为master
输入:浏览器

hostnamectl set-hostname master

注:主机名称更改以后，要重启(reboot)才会生效。

2，作IP和主机名的映射

修改hosts文件，作关系映射
输入

vim /etc/hosts

添加
主机的ip 和主机名称

192.168.238.128 master

3，关闭防火墙

关闭防火墙，方便访问。
CentOS 7版本如下输入:
关闭防火墙

service   iptables stop

CentOS 7 以上的版本输入：

systemctl stop firewalld.service

4，时间设置

查看当前时间
输入:

date

查看服务器时间是否一致，若不一致则更改
更改时间命令

date -s ‘MMDDhhmmYYYY.ss’

5，总体的环境配置

/etc/profile 的总体配置

#Java Config
export JAVA_HOME=/opt/java/jdk1.8
export JRE_HOME=/opt/java/jdk1.8/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

# Scala Config
export SCALA_HOME=/opt/scala/scala-2.12.2


# Spark Config
export  SPARK_HOME=/opt/spark/spark1.6-hadoop2.4-hive

# Zookeeper Config
export ZK_HOME=/opt/zookeeper/zookeeper3.4

# HBase Config
export HBASE_HOME=/opt/hbase/hbase1.2

# Hadoop Config 
export HADOOP_HOME=/opt/hadoop/hadoop2.8
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

# Hive Config
export HIVE_HOME=/opt/hive/hive2.1
export HIVE_CONF_DIR=${HIVE_HOME}/conf

export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${ZK_HOME}/bin:${HBASE_HOME}/bin:${HIVE_HOME}/bin:$PATH

注:具体的配置以本身的为准，没有的不用配置。

3、Hadoop的环境配置

Hadoop的具体配置在大数据学习系列之一 ----- Hadoop环境搭建(单机) 中介绍得很详细了。因此本文就大致介绍一下。
注:具体配置以本身的为准。

1，环境变量设置

编辑 /etc/profile 文件 :

vim /etc/profile

配置文件:

export HADOOP_HOME=/opt/hadoop/hadoop2.8
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH

2，配置文件更改

先切换到 /home/hadoop/hadoop2.8/etc/hadoop/ 目录下

3.2.1 修改 core-site.xml

输入:

vim core-site.xml

在添加:

<configuration>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
   </property>
   <property>
        <name>fs.default.name</name>
        <value>hdfs://master:9000</value>
   </property>
</configuration>

3.2.2修改 hadoop-env.sh

输入:

vim hadoop-env.sh

将${JAVA_HOME} 修改成本身的JDK路径 ``` export JAVA_HOME=${JAVA_HOME}

修改成：

export JAVA_HOME=/home/java/jdk1.8

#### 3.2.3修改 hdfs-site.xml

输入:

vim hdfs-site.xml

在<configuration>添加:

dfs.name.dir
/root/hadoop/dfs/name
Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.

dfs.data.dir
/root/hadoop/dfs/data
Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.

dfs.replication
2

dfs.permissions
false
need not permissions

#### 3.2.4 修改mapred-site.xml

若是没有 mapred-site.xml 该文件，就复制mapred-site.xml.template文件并重命名为mapred-site.xml。 
输入:

vim mapred-site.xml

修改这个新建的mapred-site.xml文件，在<configuration>节点内加入配置:

mapred.job.tracker
master:9001

mapred.local.dir
/root/hadoop/var

mapreduce.framework.name
yarn

### 3，Hadoop启动
启动以前须要先格式化
切换到/home/hadoop/hadoop2.8/bin目录下
输入:

./hadoop namenode -format

格式化成功后，再切换到/home/hadoop/hadoop2.8/sbin目录下
启动hdfs和yarn
输入:

start-dfs.sh
start-yarn.sh

启动成功后，输入jsp查看是否启动成功
在浏览器输入 ip+8088 和ip +50070 界面查看是否能访问
能正确访问则启动成功
 
## 4、Hive的环境配置
Hive环境的具体配置在个人这篇[大数据学习系列之四 ----- Hadoop+Hive环境搭建图文详解(单机)](http://www.panchengming.com/2017/12/16/pancm61/) 以及介绍得很详细了。本篇就大概介绍下。

### 修改hive-site.xml
切换到 /opt/hive/hive2.1/conf 目录下
将hive-default.xml.template 拷贝一份，并重命名为hive-site.xml
而后编辑hive-site.xml文件

cp hive-default.xml.template hive-site.xml
vim hive-site.xml

编辑hive-site.xml文件，在 <configuration> 中添加:

hive.metastore.warehouse.dir
/root/hive/warehouse

hive.exec.scratchdir
/root/hive

hive.metastore.uris

javax.jdo.option.ConnectionURL
jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true

javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver

javax.jdo.option.ConnectionUserName
root

javax.jdo.option.ConnectionPassword
123456

hive.metastore.schema.verification
false

而后将配置文件中全部的

${system:java.io.tmpdir}

更改成 /opt/hive/tmp  (若是没有该文件则建立)，
  并将此文件夹赋予读写权限，将

${system:user.name}
```
更改成 root

例如:
更改以前的:

更改以后:

配置图:

注: 因为hive-site.xml 文件中的配置过多，能够经过FTP将它下载下来进行编辑。也能够直接配置本身所需的，其余的能够删除。 MySQL的链接地址中的master是主机的别名，能够换成ip。

修改 hive-env.sh

修改hive-env.sh 文件，没有就复制 hive-env.sh.template ，并重命名为hive-env.sh

在这个配置文件中添加

export  HADOOP_HOME=/opt/hadoop/hadoop2.8
export  HIVE_CONF_DIR=/opt/hive/hive2.1/conf
export  HIVE_AUX_JARS_PATH=/opt/hive/hive2.1/lib

添加数据驱动包

因为Hive 默认自带的数据库是使用mysql，因此这块就是用mysql
将mysql 的驱动包上传到 /opt/hive/hive2.1/lib

5、HBase的环境配置

HBase环境的具体配置在个人这篇大数据学习系列之二 ----- HBase环境搭建(单机) 以及介绍得很详细了。本篇就大概介绍下。

修改 hbase-env.sh

编辑 hbase-env.sh 文件，添加如下配置

export JAVA_HOME=/opt/java/jdk1.8
export HADOOP_HOME=/opt/hadoop/hadoop2.8
export HBASE_HOME=/opt/hbase/hbase1.2
export HBASE_CLASSPATH=/opt/hadoop/hadoop2.8/etc/hadoop
export HBASE_PID_DIR=/root/hbase/pids
export HBASE_MANAGES_ZK=false

说明:配置的路径以本身的为准。HBASE_MANAGES_ZK=false 是不启用HBase自带的Zookeeper集群。

修改 hbase-site.xml

编辑hbase-site.xml 文件，在添加以下配置

<!-- 存储目录 -->
<property>  
 <name>hbase.rootdir</name>  
 <value>hdfs://test1:9000/hbase</value>  
 <description>The directory shared byregion servers.</description>  
</property>  
<!-- hbase的端口 -->
<property>  
 <name>hbase.zookeeper.property.clientPort</name>  
 <value>2181</value>  
 <description>Property from ZooKeeper'sconfig zoo.cfg. The port at which the clients will connect.  
 </description>  
</property>  
<!--  超时时间 -->
<property>  
 <name>zookeeper.session.timeout</name>  
 <value>120000</value>  
</property>  
<!--  zookeeper 集群配置。若是是集群，则添加其它的主机地址 -->
<property>  
 <name>hbase.zookeeper.quorum</name>  
 <value>test1</value>  
</property>  
<property>  
 <name>hbase.tmp.dir</name>  
 <value>/root/hbase/tmp</value>  
</property>  
<!-- false是单机模式，true是分布式模式  -->
<property>  
 <name>hbase.cluster.distributed</name>  
 <value>false</value>  
</property>

说明:hbase.rootdir：这个目录是region server的共享目录，用来持久化Hbase 。hbase.cluster.distributed ：Hbase的运行模式。false是单机模式，true是分布式模式。若为false,Hbase和Zookeeper会运行在同一个JVM里面。

6、Hive整合HBase的环境配置以及测试

1，环境配置

由于Hive与HBase整合的实现是利用二者自己对外的API接口互相通讯来完成的，其具体工做交由Hive的lib目录中的hive-hbase-handler-.jar工具类来实现。因此只须要将hive的 hive-hbase-handler-.jar 复制到hbase/lib中就能够了。
切换到hive/lib目录下
输入:

cp hive-hbase-handler-*.jar /opt/hbase/hbase1.2/lib

注: 若是在hive整合hbase中，出现版本之类的问题，那么以hbase的版本为主，将hbase中的jar包覆盖hive的jar包。

2，hive和hbase测试

在进行测试的时候，确保hadoop、hbase、hive环境已经成功搭建好，而且都成功启动了。
打开xshell的两个命令窗口
一个进入hive，一个进入hbase

6.2.1在hive中建立映射hbase的表

在hive中建立一个映射hbase的表，为了方便，设置两边的表名都为t_student，存储的表也是这个。
在hive中输入:

create table t_student(id int,name string) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties("hbase.columns.mapping"=":key,st1:name") tblproperties("hbase.table.name"="t_student","hbase.mapred.output.outputtable" = "t_student");

说明：第一个t_student 是hive表中的名称，第二个t_student是定义在hbase的table名称，第三个t_student 是存储数据表的名称("hbase.mapred.output.outputtable" = "t_student"这个能够不要，表数据就存储在第二个表中了) 。
(id int,name string) 这个是hive表结构。若是要增长字段，就以这种格式增长。若是要增长字段的注释，那么在字段后面添加comment ‘你要描述的’。
例如:
create table t_student(id int comment ‘StudentId’,name string comment ‘StudentName’)
org.apache.hadoop.hive.hbase.HBaseStorageHandler 这个是指定的存储器。
hbase.columns.mapping 是定义在hbase的列族。
例如:st1就是列族，name就是列。在hive中建立表t_student，这个表包括两个字段（int型的id和string型的name）。映射为hbase中的表t_student，key对应hbase的rowkey，value对应hbase的st1:name列。

表成功建立以后
在hive、hbase分别中查看表和表结构
hive中输入

show tables；
describe t_student;

hbase输入:

list
describe ‘t_student’

能够看到表已经成功的建立了

6.2.2数据同步测试

进入hbase以后
在t_student中添加两条数据而后查询该表

put 't_student','1001','st1:name','zhangsan'
put 't_student','1002','st1:name','lisi'
scan 't_student'

而后切换到hive中
查询该表
输入:

select * from t_student;

而后在hive中删除该表
注:由于作测试要看结果，因此将表删除了。若是同窗们要作测试的话，是没有必要删除该表的，由于在后面还会使用该表。

而后查看hive和hbase中的表是否删除了
输入:

drop table t_student;

经过这些能够看到hive和hbase之间的数据成功同步！

6.2.3关联查询测试

hive外部表测试

先在hbase中建一张t_student_info表，添加两个列族
而后查看表结构
输入:

create 't_student_info','st1','st2'
describe 't_student_info'

而后在hive中建立外部表
说明:建立外部表要使用EXTERNAL 关键字
输入:

create external table t_student_info(id int,age int,sex string) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties("hbase.columns.mapping"=":key,st1:age,st2:sex") tblproperties("hbase.table.name"="t_student_info");

而后在t_student_info 中添加数据

put 't_student_info','1001','st2:sex','man'
put 't_student_info','1001','st1:age','20'
put 't_student_info','1002','st1:age','18'
put 't_student_info','1002','st2:sex','woman'

而后在hive中查询该表
输入:

select * from t_student_info;

查询到数据以后，而后将t_student 和t_student_info进行关联查询。
输入:

select * from t_student t join t_student ti where t.id=ti.id ;

说明:经过关联查询，能够得出表之间是能够关联查询的。可是明显看到hive 使用默认的mapreduce 做为引擎是多么的慢。。。

其余说明:
因为本身的虚拟机配置实在太渣，即便调大reduce内存，限制每一个reduce处理的数据量，仍是不行，最后没办法使用公司的测试服务进行测试。
在查询一张表的时候，hive没有使用引擎，所以相对比较快，若是是进行了关联查询之类的，就会使用引擎，因为hive默认的引擎是mr，因此会很慢，也和配置有必定关系，hive2.x之后官方就不建议使用mr了。

本文到此结束，谢谢阅读！
版权声明:
做者：虚无境
博客园出处：http://www.cnblogs.com/xuwujing
CSDN出处：http://blog.csdn.net/qazwsxpcm　　　　
我的博客出处：http://www.panchengming.com 原创不易，转载请标明出处，谢谢！