1.上传tar包java
2.解压
tar -zxvf hive-1.2.1.tar.gz
3.安装mysql数据库
推荐yum 在线安装(运行脚本安装)mysql
4.配置hive
(a)配置HIVE_HOME环境变量
vi conf/hive-env.sh
配置其中的$hadoop_homegit
(b)配置元数据库信息
vi hive-site.xml
添加以下内容:
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>sql
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>shell
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</description>
</property>数据库
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
<description>password to use against metastore database</description>
</property>
</configuration>
5.安装hive和mysq完成后,将mysql的链接jar包拷贝到$HIVE_HOME/lib目录下
若是出现没有权限的问题,在mysql受权(在安装mysql的机器上执行)
mysql -uroot -p
设置密码
set password=password('root');
#(执行下面的语句 *.*:全部库下的全部表 %:任何IP地址或主机均可以链接)
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION;
FLUSH PRIVILEGES;
经过mysql -uroot -proot
6. Jline包版本不一致的问题,须要拷贝hive的lib目录中jline.2.12.jar的jar包替换掉hadoop中的
6.一、 cp hive/lib/jline-2.12.jar /opt/software/hadoop-2.6.4/share/hadoop/yarn/lib/
6.二、装hive和mysq完成后,将mysql的链接jar包拷贝到$HIVE_HOME/lib目录下服务器
-------------------------------------------------------------------------------------------------------架构
启动hive
bin/hive
----------------------------------------------------------------------------------------------------
Hive几种使用方式:
1.Hive交互shell bin/hive
2.Hive JDBC服务(参考java jdbc链接mysql)
3.hive启动为一个服务器,来对外提供服务
bin/hiveserver2
nohup bin/hiveserver2 1>/var/log/hiveserver.log 2>/var/log/hiveserver.err &
启动成功后,能够在别的节点上用beeline去链接
bin/beeline -u jdbc:hive2://mini1:10000 -n root
或者
bin/beeline
! connect jdbc:hive2://mini1:10000
4.Hive命令
hive -e ‘sql’
bin/hive -e 'select * from t_test'oop
建立表:
内部表--删除以后数据所有丢失
CREATE TABLE [IF NOT EXISTS] table_name
外部表--删除元数据以后源数据还存在
CREATE EXTERNAL TABLE [IF NOT EXISTS] table_name LOCATION hdfs_path
一、结构同样,可是数据不同 ----like
create table bws like te;
二、结构同样,数据也同样----as
create table bws2 as select * from tes;大数据
设置表结构:必定按照这个顺序来
ROW FORMAT DELIMITED : 行格式分隔
FIELDS TERMINATED BY ’,’ : 字段之间使用空格分隔
COLLECTION ITEMS TERMINATED BY ‘,’ : 集合(就是这的数据)使用逗号分隔
MAP KEYS TERMINATED BY ‘:’ : 键值对使用冒号分隔
LINES TERMINATED BY ‘\t’ : 记录之间使用换行符分隔
Hive 查看表描述
DESCRIBE [EXTENDED|FORMATTED] table_name
extended
formatted
table-type:查看建立表的类型
补充:临时表
在当前进程中能够对数据进行相应的操做,可是退出hive时,就自动删除
create TEMPORARY table name-----必定是一张内部表
后期会不断更新相关的内容,对Java、大数据比较感兴趣的朋友能够关注我
公众号:Java架构师联盟
码云上会不断的上传一些资料,有须要的,码云地址: https://gitee.com/biwangsheng/personal