搭建hive框架

今天就进入Hive框架的搭建、管理、使用。

Hive是一个披着数据库外壳的hdfs。
HDFS比较难用、文件系统天生难用。Hive是大数据是为传统开发人员,数据库管理人员使用大数据平台,提供了可能 。Hive作为最早一个类数据库产品,成为学习大数据的必修框架之一,但其性能堪忧。

配置Hive

Hive作为一个单独框架,基于Hadoop集群,但不一定非要安装在集群内部。
可自行再安装一台Linux作业独立的Hive服务器会比较好。
1、 上传
2、 解包至指定目录
a) 解压命令tar -zxvf apache-hive-2.3.3-bin.tar.gz -C /usr/hadoop/ (路径)

1、 配置(首次不需要配置,使用默认配置即可,因为其默认使用derby)
a) 下次切换mysql metastore时,需要配置
b) cp hive-default.xml.template hive-site.xml (第一步复制)
c) vi hive-site.xml (修改hive-site.xml文件)

如下图删除 只剩对标的configuration

在这里插入图片描述

1、 启动
a) 再初始化 metastorm
/usr/hadoop/apache-hive-2.3.3-bin/bin路径下初始化
初始化命令 ./schematool -initSchema -dbType derby

b) 再启动即可
/usr/hadoop/apache-hive-2.3.3-bin/bin路径下初始化
启动yarn 启动命令
启动hive 启动命令 ./hive

Master 的内存 调整到2G,基本可以同时运行hdfs、yarn平台Hive
8088端口可查看yarn平台上正在执行的作业:
http://10.0.18.101:8088
Hive元数据存储在MetaStorm
数据本身存储在HDFS:
默认的存储路径:/user/hive/warehouse

显示有什么库 show databases; 建表命令 create table t_user(id int,name String); 往表里插入数据 insert into t_user(id,name) values(1,‘gary’);