Hive —— 安装部署

 

1、安装Hive

1.1 下载并解压

下载所需版本的Hive，这里我下载版本为cdh5.15.2。下载地址：http://archive.cloudera.com/cdh5/cdh/5/

# 下载后进行解压
 tar -zxvf hive-1.1.0-cdh5.15.2.tar.gz

1.2 配置环境变量

# vim /etc/profile

添加环境变量：

export HIVE_HOME=/usr/app/hive-1.1.0-cdh5.15.2
export PATH=$HIVE_HOME/bin:$PATH

使得配置的环境变量当即生效：

# source /etc/profile

1.3 修改配置

1. hive-env.sh

进入安装目录下的conf/目录，拷贝Hive的环境配置模板flume-env.sh.template

cp hive-env.sh.template hive-env.sh

修改hive-env.sh，指定Hadoop的安装路径：

HADOOP_HOME=/usr/app/hadoop-2.6.0-cdh5.15.2

2. hive-site.xml

新建hive-site.xml 文件，内容以下，主要是配置存放元数据的MySQL的地址、驱动、用户名和密码等信息：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://hadoop001:3306/hadoop_hive?createDatabaseIfNotExist=true</value>
  </property>
  
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
  </property>
  
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
  </property>
  
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>root</value>
  </property>

</configuration>

1.4 拷贝数据库驱动

将MySQL驱动包拷贝到Hive安装目录的lib目录下, MySQL驱动的下载地址为：https://dev.mysql.com/downloads/connector/j/ , 在本仓库的resources目录下我也上传了一份，有须要的能够自行下载。

1.5 初始化元数据库

• 当使用的 hive 是1.x版本时，能够不进行初始化操做，Hive会在第一次启动的时候会自动进行初始化，但不会生成全部的元数据信息表，只会初始化必要的一部分，在以后的使用中用到其他表时会自动建立；

• 当使用的 hive 是2.x版本时，必须手动初始化元数据库。初始化命令：

  # schematool 命令在安装目录的bin目录下，因为上面已经配置过环境变量，在任意位置执行便可
  schematool -dbType mysql -initSchema

这里我使用的是CDH的hive-1.1.0-cdh5.15.2.tar.gz，对应Hive 1.1.0 版本，能够跳过这一步。

1.6 启动

因为已经将Hive的bin目录配置到环境变量，直接使用如下命令启动，成功进入交互式命令行后执行show databases命令，无异常则表明搭建成功。

# hive

在Mysql中也能看到Hive建立的库和存放元数据信息的表

2、HiveServer2/beeline

Hive内置了HiveServer和HiveServer2服务，二者都容许客户端使用多种编程语言进行链接，可是HiveServer不能处理多个客户端的并发请求，所以产生了HiveServer2。HiveServer2（HS2）容许远程客户端可使用各类编程语言向Hive提交请求并检索结果，支持多客户端并发访问和身份验证。HS2是由多个服务组成的单个进程，其包括基于Thrift的Hive服务（TCP或HTTP）和用于Web UI的Jetty Web服务。

HiveServer2拥有本身的CLI工具——Beeline。Beeline是一个基于SQLLine的JDBC客户端。因为目前HiveServer2是Hive开发维护的重点，因此官方更加推荐使用Beeline而不是Hive CLI。如下主要讲解Beeline的配置方式。

2.1 修改Hadoop配置

修改 hadoop 集群的 core-site.xml 配置文件，增长以下配置，指定hadoop的root用户能够代理本机上全部的用户。

<property>
 <name>hadoop.proxyuser.root.hosts</name>
 <value>*</value>
</property>
<property>
 <name>hadoop.proxyuser.root.groups</name>
 <value>*</value>
</property>

之因此要配置这一步，是由于hadoop 2.0之后引入了安全假装机制，使得hadoop不容许上层系统（如hive）直接将实际用户传递到hadoop层，而应该将实际用户传递给一个超级代理，由该代理在hadoop上执行操做，以免任意客户端随意操做hadoop。若是不配置这一步，在以后的链接中可能会抛出AuthorizationException异常。

关于Hadoop的用户代理机制，能够参考：hadoop的用户代理机制 或 Superusers Acting On Behalf Of Other Users

2.2 启动hiveserver2

因为上面已经配置过环境变量，这里直接启动便可：

# nohup hiveserver2 &

2.3 使用beeline

可使用如下命令进入beeline交互式命令行，出现Connected则表明链接成功。

# beeline -u jdbc:hive2://hadoop001:10000 -n root

更多大数据系列文章能够参见我的 GitHub 开源项目： 程序员大数据入门指南