转自:https://www.cnblogs.com/qingyunzong/p/8733924.htmlhtml
1、数据类型
一、基本数据类型
Hive 支持关系型数据中大多数基本数据类型数据库
类型 | 描述 | 示例 |
---|---|---|
boolean | true/false | TRUE |
tinyint | 1字节的有符号整数 | -128~127 1Y |
smallint | 2个字节的有符号整数,-32768~32767 | 1S |
int | 4个字节的带符号整数 | 1 |
bigint | 8字节带符号整数 | 1L |
float | 4字节单精度浮点数 | 1.0 |
double | 8字节双精度浮点数 | 1.0 |
deicimal | 任意精度的带符号小数 | 1.0 |
String | 字符串,变长 | “a”,’b’ |
varchar | 变长字符串 | “a”,’b’ |
char | 固定长度字符串 | “a”,’b’ |
binary | 字节数组 | 没法表示 |
timestamp | 时间戳,纳秒精度 | 122327493795 |
date | 日期 | ‘2018-04-07’ |
和其余的SQL语言同样,这些都是保留字。须要注意的是全部的这些数据类型都是对Java中接口的实现,所以这些类型的具体行为细节和Java中对应的类型是彻底一致的。例如,string类型实现的是Java中的String,float实现的是Java中的float,等等。数组
二、复杂类型
类型 | 描述 | 示例 |
---|---|---|
array | 有序的的同类型的集合 | array(1,2) |
map | key-value,key必须为原始类型,value能够任意类型 | map(‘a’,1,’b’,2) |
struct | 字段集合,类型能够不一样 | struct(‘1’,1,1.0), named_stract(‘col1’,’1’,’col2’,1,’clo3’,1.0) |
2、存储格式
Hive会为每一个建立的数据库在HDFS上建立一个目录,该数据库的表会以子目录形式存储,表中的数据会以表目录下的文件形式存储。对于default数据库,默认的缺省数据库没有本身的目录,default数据库下的表默认存放在/user/hive/warehouse目录下。oop
(1)textfile
textfile为默认格式,存储方式为行存储。数据不作压缩,磁盘开销大,数据解析开销大。 post
(2)SequenceFile
SequenceFile是Hadoop API提供的一种二进制文件支持,其具备使用方便、可分割、可压缩的特色。 性能
SequenceFile支持三种压缩选择:NONE, RECORD, BLOCK。 Record压缩率低,通常建议使用BLOCK压缩。 url
(3)RCFile
一种行列存储相结合的存储方式。 spa
(4)ORCFile
数据按照行分块,每一个块按照列存储,其中每一个块都存储有一个索引。hive给出的新格式,属于RCFILE的升级版,性能有大幅度提高,并且数据能够压缩存储,压缩快 快速列存取。 .net
(5)Parquet
Parquet也是一种行式存储,同时具备很好的压缩性能;同时能够减小大量的表扫描和反序列化的时间。htm
3、数据格式
当数据存储在文本文件中,必须按照必定格式区别行和列,而且在Hive中指明这些区分符。Hive默认使用了几个平时不多出现的字符,这些字符通常不会做为内容出如今记录中。
Hive默认的行和列分隔符以下表所示。
分隔符 | 描述 |
---|---|
\n | 对于文本文件来讲,每行是一条记录,因此\n 来分割记录 |
^A (Ctrl+A) | 分割字段,也能够用\001 来表示 |
^B (Ctrl+B) | 用于分割 Arrary 或者 Struct 中的元素,或者用于 map 中键值之间的分割,也能够用\002 分割。 |
^C | 用于 map 中键和值本身分割,也能够用\003 表示。 |