hive load insert

本文主要是翻译Hive官网关于Load的解释，原文来源于：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML#LanguageManualDML-Loadingfilesintotables

介绍
Hive Load语句不会在加载数据的时候作任何转换工做，而是纯粹的把数据文件复制/移动到Hive表对应的地址。

语法
LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1,partcol2=val2 ...)]
1
描述
filepath 能够是： 
相对路径，如project/data1
绝对路径，如/user/hive/project/data1
完整的URL，如hdfs://namenode:9000/user/hive/project/data1
目标能够是一个表或是一个分区。若是目标表是分区表，必须指定是要加载到哪一个分区。
filepath 能够是一个文件，也能够是一个目录(会将目录下的全部文件都加载)。
若是命令中带LOCAL，表示： 
load命令从本地文件系统中加载数据，能够是相对路径，也能够是绝对路径。对于本地文件系统，也可使用完整的URL，如file:///user/hive/project/data1
load命令会根据指定的本地文件系统中的filepath复制文件到目标文件系统，而后再移到对应的表
若是命令中没有LOCAL，表示从HDFS加载文件，filepath可使用完整的URL方式，或者使用fs.default.name定义的值
命令带OVERWRITE时加载数据以前会先清空目标表或分区中的内容，不然就是追加的方式。
--------------------- 

insert 语法格式为：

1. 基本的插入语法：

insert overwrite table tablename [partition(partcol1=val1,partclo2=val2)] select_statement;

insert into table tablename [partition(partcol1=val1,partclo2=val2)] select_statement;

eg：

insert overwrite table test_insert select * from test_table;
insert into table test_insert select * from test_table;

注：
overwrite重写，into追加。

 

2. 对多个表进行插入操做：

from source_table
insert overwrite table tablename1 [partition (partcol1=val1,partclo2=val2)] select_statement1
insert overwrite table tablename2 [partition (partcol1=val1,partclo2=val2)] select_statement2

eg:

from test_table                     
insert overwrite table test_insert1 
select key
insert overwrite table test_insert2
select value;

注：hive不支持用insert语句一条一条的进行插入操做，也不支持update操做。数据是以load的方式加载到创建好的表中，数据一旦导入就不能够修改。

2.经过查询将数据保存到filesystem

insert overwrite [local] directory 'directory' select_statement;

eg:

（1）导入数据到本地目录：

insert overwrite local directory '/home/hadoop/data' select * from test_insert1;

产生的文件会覆盖指定目录中的其余文件，即将目录中已经存在的文件进行删除。

只能用overwrite，into错误！

（2）导出数据到HDFS中：

insert overwrite directory '/user/hive/warehouse/table' select value from test_table;
只能用overwrite，into错误！

（3）同一个查询结果能够同时插入到多个表或者多个目录中：

from source_table
insert overwrite local directory '/home/hadoop/data' select * 
insert overwrite directory '/user/hive/warehouse/table' select value;

 

3. 小结：

（1）insert命令主要用于将hive中的数据导出，导出的目的地能够是hdfs或本地filesysytem，导入什么数据在于书写的select语句。

（2）overwrite与into：

insert overwrite/intotable能够搭配；

insert overwritedirectory能够搭配；

Hive 加载数据主要有两种方式，一种是用Load直接加载文件，能够是从本地文件系统，也能够是从HDFS文件系统；Load方式不作任何的转换，只是纯粹的文件复制移动，关于Load加载详情，请见个人另外一篇文章： http://blog.csdn.net/post_yuan/article/details/62883565

除了Load加载数据，Hive也支持Insert命令，下面就来详细介绍Hive不一样的版本在Insert方面的支持和改进，

标准语法
INSERT OVERWRITE TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1 FROM from_statement;
INSERT INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1 FROM from_statement;
INSERT INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)](z, y) select_statement1 FROM from_statement;
1
2
3
高级语法(Multiple Inserts)
FROM from_statement
INSERT OVERWRITE TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1
[INSERT OVERWRITE TABLE tablename2 [PARTITION ...] select_statement2]
[INSERT INTO TABLE tablename2 [PARTITION ...] select_statement2];
1
2
3
4
高级语法(Dynamic Partition Inserts)
INSERT OVERWRITE TABLE tablename PARTITION (partcol1[=val1], partcol2[=val2] ...) select_statement FROM from_statement;
INSERT INTO TABLE tablename PARTITION (partcol1[=val1], partcol2[=val2] ...) select_statement FROM from_statement;
1
2
描述
INSERT OVERWRITE会覆盖表或分区中已存在的数据
INSERT INTO以追加数据的方式插入到表或分区，原有数据不会删除
Insert能够插入表或分区，若是表是分区表，则Insert时须要指定插入到哪一个分区
从Hive 1.1.0版本，TABLE关键字是可选的
从Hive 1.2.0版本，INSERT INTO能够指定插入到哪些字段中，如INSERT INTO t(x,y,z)
动态分区插入
当INSERT往分区表插入数据时，咱们能够指定分区字段名和值，分区字段的值是可选的，若是指定分区字段值，咱们称之为静态分区，不然称之为动态分区。动态分区建立根据插入数据的列决定。在Hive 0.9.0版本之前，动态分区插入默认是关闭的，在Hive 0.9.0版本及更高版本，默认是打开的。关于动态分区插入，有几个相关的配置：

参数    默认值    注释
hive.exec.dynamic.partition    true    设置为true表示启用动态分区插入
hive.exec.dynamic.partition.mode    strict    strict模式时用户必须至少指定一个静态分区；nonstrict模式时全部分区均可能是动态分区
hive.exec.max.dynamic.partitions.pernode    100    每一个mapper/reducer节点容许建立的最大动态分区数
hive.exec.max.dynamic.partitions    1000    总共容许建立的最大动态分区数
hive.exec.max.created.files    100000    一个MR job中容许建立多少个HDFS文件
hive.error.on.empty.partition    false    当动态分区插入产生空值时是否抛出异常
从查询语句写入到文件系统
Hive支持从查询语句直接写入到文件系统，此处不作详细介绍

INSERT VALUES
Hive 0.14版本开始，支持INSERT…VALUES语法，具体语法以下，

INSERT INTO TABLE tablename [PARTITION (partcol1[=val1], partcol2[=val2] ...)] VALUES values_row [, values_row ...]

values_row: (value [, value ...]) value能够为null或者任意SQL语法