hive权威指南<一>

时间 2019-11-19

标签 hive 权威指南栏目 Hadoop 繁體版

原文原文链接

1、ETL介绍：
　　数据抽取：把不一样的数据源数据抓取过来，存到某个地方
　　数据清洗：过滤那些不符合要求的数据或者修正数据以后再进行抽取
　　　　不完整的数据：好比数据里一些应该有的信息缺失，须要补全后再写入数据仓库
　　　　错误的数据：好比字符串数据后面有一个回车操做、日期格式不正确、日期越界等，须要修正以后再抽取
　　　　重复的数据：重复数据记录的全部字段，须要去重
　　数据转换：不一致的数据转换，好比同一个供应商在结算系统的编码是XX0001,而在CRM中编码是YY0001，统一编码实现有多种方法：
一、借助ETL工具(如Oracle的OWB、SQL Server的DTS、SQL Server的SSIS服务、Informatic等等)实现html

　　OWB:Oracle Warehouse Builder
　　DTS:Data Transformation Service
　　SSIS:SQL Server Integration Services
二、SQL方式实现
三、ETL工具和SQL相结合-----》间接引出hive
　　借助工具能够快速的创建起ETL工程，屏蔽了复杂的编码任务，提升了速度，下降了难度，可是缺乏灵活性。
　　SQL的方法优势是灵活，提升ETL运行效率，可是编码复杂，对技术要求比较高。
　　第三种是综合了前面二种的优势，会极大地提升ETL的开发速度和效率java

2、大数据平台架构概述：
　　数据抽取：Canal/Sqoop（主要解决数据库数据接入问题）、还有大量的数据采用Flume解决方案
　　数据存储：HDFS（文件存储）、HBase（KV存储）、Kafka（消息缓存）
　　调度：采用了Yarn的统一调度以及Kubernetes的基于容器的管理和调度的技术
　　计算分析：MR、HIVE、Storm、Spark、Kylin以及深度学习平台好比Caffe、Tensorflow等等
　　应用平台：交互分析sql，多维分析：时间、地域等等，
　　可视化：数据分析tableau，阿里datav、hcharts、echarts
　　数据应用就是指数据的业务node

3、hive概述：
由Facebook开源用于解决海量结构化日志的数据统计，后称为Apache Hive为一个开源项目
　　结构化数据：数据类型，字段，value---》hive
　　非结构化数据：好比文本、图片、音频、视频---》会有非关系型数据库存储，或者转换为结构化
　　结构化日志数据：服务器生成的日志数据,会以空格或者指表符分割的数据,好比：apache、nginx等等
Hive 是一个基于 Hadoop 文件系统之上的数据仓库架构，存储用hdfs，计算用mapreduce
Hive 能够理解为一个工具，不存在主从架构,不须要安装在每台服务器上，只须要安装几台就好了
hive还支持类sql语言，它能够将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能
hive有个默认数据库：derby，默认存储元数据---》后期转换成关系型数据库存储mysql
　　hive的版本：apache-hive-1.2.1 、hive-0.13.1-cdh5.3.6
　　https://github.com/apache/ 主要查看版本的依赖
下载地址：
　　apache的：http://archive.apache.org/dist/hive/
　　cdh的：http://archive.cloudera.com/cdh5/cdh/5/
sql on hadoop的框架：
hive--》披着sql外衣的map-reduce
impala--》查询引擎，适用于交互式的实时处理场景
presto--》分布式的sql查询引擎，适用于实时的数据分析
spark sql
等等。。。。
https://www.cnblogs.com/tgzhu/p/7483422.htmlmysql

4、Hive的体系结构linux

　　client：
　　　　命令行 -经常使用
　　　　JDBC

metastore元数据：存储在数据库
　　默认的数据库derby
　　改为mysql
元数据：表名，表的所属的数据库，表的拥有者，表的分区信息，表的类型，表数据的存储的位置
　　cli-》metastore
　　TBLS-》DBS-》hdfs的路径
Driver：
　　解析器：解析的HQL语句
　　编译器：把HQL翻译成mapreduce代码
　　优化器：优化
　　执行器：把代码提交给yarn

Hadoop：
　　使用mapreduce的计算模型
　　使用hdfs进行存储hive表数据nginx

5、Hive安装及使用git

请访问:http://www.cnblogs.com/xningge/p/8433792.htmlgithub

6、Hive客户端的基础语句：
　　一、进入到hive的客户端：bin/hive;
　　二、查看数据库：show databases;
　　三、建立数据库：create database test;
　　四、进入到数据库：use test;
　　五、查看表：show tables;
　　六、数据类型：
　　　　tinyint、smallint、int、bigint -》int
　　　　float、double、date
　　　　string、vachar、char -》string
　　七、create table hive_table(
　　　　　　id int,
　　　　　　name string
　　　　);
　　八、加载数据：
　　　　　　load data local inpath '/opt/datas/hive_test.txt' into table hive_table;
　　　　　　local：指定本地的数据文件存放路径
　　　　　　不加local：指定数据在hdfs的路径
　　九、查询语句：
　　　　select * from hive_table;
　　十、hive的默认数据分隔符是\001,也就是^A ,分割符 " ", "," ,"\t"等等
　　　　若是说数据的分隔符与表的数据分隔符不一致的话，读取数据为null
　　　　　　按下crtl+v而后再按下crtl+a就会出来^A(\001)

　　　　create table row_table(
　　　　　　id int,
　　　　　　name string
　　　　　　)ROW FORMAT DELIMITED FIELDS TERMINATED BY " ";

　　　　　load data local inpath '/opt/datas/hive_test.txt' into table row_table;sql

7、hive在hdfs上的文件结构
　　数据仓库的位置数据库目录表目录表的数据文件
　　/user/hive/warehouse /test.db /row_table /hive_test.txt
　　default默认的数据库：指的就是这个/user/hive/warehouse路径shell

8、修改元数据存储的数据库：
　　一、用bin/hive同时打开多个客户端会报错
　　　　java.sql.SQLException: Another instance of Derby may have already booted the database /opt/modules/apache/hive-1.2.1/metastore_db.

　　　　derby数据库默认只能开启一个客户端，这是一个缺陷，换个数据库存储元数据
　　　　数据库可选有这几种：derby mssql mysql oracle postgres
　　　　通常选择mysql元数据存储
　　二、安装mysql
　　　　查看本身虚拟机有没有mysql的安装包
　　　　sudo rpm -qa | grep mysql
　　　　卸载：sudo rpm -e --nodeps mysql-libs-5.1.66-2.el6_3.x86_64
　　　　卸载完成以后再查看一下，确保卸载完成

　　　　安装mysql服务：
　　　　sudo yum -y install mysql-server
　　　　(若是yum源有问题，那就更换一下yum源便可)
　　　　安装完成以后
　　　　sudo rpm -qa | grep mysql
　　　　mysql-server-5.1.73-8.el6_8.x86_64
　　　　mysql-5.1.73-8.el6_8.x86_64
　　　　mysql-libs-5.1.73-8.el6_8.x86_64
　　　　》查看mysql的服务
　　　　　　chkconfig | grep mysql
　　　　》开启mysqld的服务
　　　　启动：sudo service mysqld start
　　　　设置登录密码：mysqladmin -u xningge password '????'
　　　　设置开机启动：sudo chkconfig mysqld on
　　　　进入mysql：
　　　　mysql -uxningge -p????
　　　　查询用户信息
　　　　mysql> select User,Host,Password from user;
　　　　设置远程登陆权限
　　　　mysql> grant all privileges on *.* to 'xningge'@'%' identified by '????' with grant option;
　　　　删除用户信息
　　　　mysql> delete from user where user='root' and host='127.0.0.1';
　　　　刷新信息
　　　　mysql> flush privileges;
　　　　重启mysqld服务
　　　　service mysqld restart
　　　　退出mysql客户端
　　　　qiut+;或者crtl+C
　　　　重启mysqld服务
　　　　sudo service mysqld restart

　　　　可选项：用Windows工具操做linux上的mysql
　　　　受权：grant all privileges on *.* to 'root'@'192.168.111.1' identified by '123456' with grant option;
　　　　刷新信息
　　　　mysql> flush privileges;
　　3.配置hive-site.xml
　　　　一、修改hive-site.xml
　　　　　　https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin

　　　　<property>
　　　　　　<name>javax.jdo.option.ConnectionURL</name>
　　　　　　<value>jdbc:mysql://hadoop01.xningge.com/metastore?createDatabaseIfNotExist=true</value>
　　　　</property>

　　　　<property>
　　　　　　<name>javax.jdo.option.ConnectionDriverName</name>
　　　　　　<value>com.mysql.jdbc.Driver</value>
　　　　</property>

　　　　<property>
　　　　　　<name>javax.jdo.option.ConnectionUserName</name>
　　　　　　<value>xningge</value>
　　　　</property>

　　　　<property>
　　　　　　<name>javax.jdo.option.ConnectionPassword</name>
　　　　　　<value>????</value>
　　　　</property>

　　二、将驱动jar包拷贝到hive的lib目录下
　　　　mysql-connector-java-5.1.27-bin.jar
　　三、完成，能够启动hive bin/hive

　　四、在mysql的metastore数据库中找到信息
　　　　DBS：database 存储的hive数据库的信息
　　　　TBLS：table 存储hive表的信息

9、Hive操做命令
　　一、描述表信息
　　　　desc tablename;
　　　　desc extended 表名;
　　　　desc formatted 表名;
　　二、修改表名
　　　　alter table table_oldname rename to new_table_name;
　　三、给表增长一个列
　　　　alter table new_table add columns(age int);
　　　　alter table new_table add columns(sex string comment 'sex');添加注释
　　四、修改列的名字以及类型
　　　　create table test_change(a int,b int,c int);
　　　　修改列名 a -> a1
　　　　alter table test_change change a a1 int;
　　　　a1改a2，数据类型改为String，而且放在b的后面；
　　　　alter table test_change change a1 a2 string after b int;
　　　　将c改为c1，并放在第一列
　　　　alter table test_change change c c1 int first;

　　五、替换列（不能删除列，可是能够修改和替换，）是全表替换
　　　　ALTER TABLE table_name ADD|REPLACE COLUMNS (col_name data_type [COMMENT col_comment], ...)
　　　　alter table test_change replace columns(foo int , too string);

　　六、清除表数据truncate
　　　　只清除表数据，元数据信息仍是存在的，表的结构已经表仍是在的
　　　　truncate table row_table;
　　七、删除表数据drop
　　　　drop table row_table;
　　　　清除数据，表以及表的结构清除，元数据也清除
　　八、删除数据库
　　　　drop database test_db CASCADE;
　　　删除数据库的信息，若是数据库不为空的话，则要加CASCADE字段
　　九、查看hive自带的函数： show functions;
　　　　desc function when;
　　　　desc function extended when; ->查看详细的用法

10、hive的经常使用配置
　　一、hive的日志文件log4j：默认是在${java.io.tmpdir}/${user.name}也就是/tmp/hadoop/hive.log
　　　　修改 hive-log4j.properties.template 修改成hive-log4j.properties
　　　　修改 hive.log.dir=/opt/modules/apache/hive-1.2.1/logs
　　二、显示数据库和列名，添加配置信息到hive-site.xml
　　　　<property>
　　　　　　<name>hive.cli.print.header</name>
　　　　　　<value>true</value>
　　　　</property>
　　　　<property>
　　　　　　<name>hive.cli.print.current.db</name>
　　　　　　<value>true</value>
　　　　</property>

11、hive经常使用的linux命令选项
　　查看帮助信息 bin/hive -help
　　　　一、--database指定登录到哪一个database 下面去
　　　　　　bin/hive --database mydb;

　　　　二、指定一条sql语句，必须用引号包裹
　　　　　　bin/hive -e 'show databses'
　　　　　　bin/hive -e 'select * from mydb.new_table'

　　　　三、指定写sql语句的文件，执行sql
　　　　　　bin/hive -f hivesql
　　　　　　指定一些较为的sql语句，周期性的执行

　　　　四、查看sql语句文件
　　　　　　bin/hive -i hivesql
　　　　　　执行文件的sql语句并进入到hive的客户端
　　　　　　用来初始化一些操做

　　　　五、bin/hive -S hivesql
　　　　　　静默模式

　　　　六、在当前回话窗口修改参数的属性，临时生效
　　　　　　bin/hive --hiveconf hive.cli.print.header=false;

　　　　七、在hive的客户端中使用set修改参数属性(临时生效),以及查看参数的属性
　　　　　　set hive.cli.print.header -》查看参数的属性
　　　　　　set hive.cli.print.header=true; -》修改参数属性

　　　　八、经常使用的shell : ! 和 dfs
　　　　　　-》！表示访问的linux本地的文件系统 ->! ls /opt/modules/apache/
　　　　　　-》dfs表示访问的是hdfs的文件系统 -> dfs -ls /;

　　　　九、CREATE database_name[LOCATION hdfs_path]
　　　　　　create database hive_test LOCATION "/location"; 　　　　　　自定义数据库在hdfs上的路径，把指定/location当成默认的数据库，　　　　　　因此这边数据库的名字不显示