hive的工做机制

Hive是基于Hadoop的一个数据仓库工具，能够将结构化的数据文件映射为一张数据库表，并提供相似SQL查询功能。

深刻浅出学Hive（二）

http://my.oschina.net/dfsj66011/blog/601919

hive的工做机制
一、在hive中建一个库
    ---在hive的元数据库中记录
    ---在hdfs的默认路径下/user/hive/warehouse/ 建一个以 "库名.db" 为名字的文件夹
二、在hive的库中建表
  ---在hive的元数据库中记录
  ---在hdfs的默认路径下  /user/hive/warehouse/库.db/  下建一个 “表名” 为名字的文件夹  
三、hive中内部表和外部表的区别
----建表时，内部表不用指定数据存放的路径，默认都放在 /user/hive/warehouse/
----外部表建表时，要指定external关键字，同时要指定数据存放的路径（要分析的数据在哪就指定哪）
----内部表删除时，会清掉元数据，同时删掉表文件夹及其中的数据
----外部表删除时，只清除元数据
四、hive表的数据能够存成多种文件格式，最普通的是textfile，可是性能比较好的是 sequenceFile格式
----sequencefile 是一种二进制文件
----文件内的内容组织形式为key:value
----在hadoop有一个优化场景可使用sequencefile
        小文件合并成大文件：  
             ---读一个小文件，就把小文件的文件名做为key，内容做为value，追加到一个大sequencefile文件中
----sequencefile文件格式支持较好的压缩性能，并且hadoop的mapreduce程序能够直接从sequencefile的压缩文件中直接读取数据
五、在linux的shell中直接运行HQL语句的方法
//cli shell  
hive -S -e 'select country,count(*) from tab_ext' > /home/hadoop/hivetemp/e.txt
这种运行机制很是重要，在生产中就是用这种机制来将大量的HQL逻辑组织在一个批量执行的shell脚本程序中
六、分区表
分区表的意义在于能够针对一个分区来进行统计从而减少统计的数据集
建立分区表要使用关键字  partitioned by (country string)
导入数据到分区表的时候须要指定这份数据所属的分区     load data ..... partition(country='china')
hive就会在hdfs的表目录建一个分区子文件夹，名字为 country=china ,这一个分区的数据就放在该子文件夹下
针对分区进行的查询和统计只要指定 where条件，将分区标识当作一个普通表字段就能够  where country='china'