Hive的使用

    Hive是一个基于hadoop平台的数据仓库工具,主要对海量数据进行统计分析

    一、运行模式（集群与本地）

        1.一、集群模式：>SET mapred.job.tracker=cluster

        1.二、本地模式：>SET mapred.job.tracker=local

    二、访问Hive的3钟方式

        2.一、终端访问

            #hive  或者  #hive --service cli  

        2.二、web访问，端口9999

            #hive --service hwi &

        2.三、hive远程服务，端口10000

            #hive --service hiveserver &

    三、数据类型

       3.一、基本数据类型 ：    

数据类型	占用长度
tinyint	1byte（-128~127）
smallint	2byte（-2^16 ~ 2^16-1）
int	4byte（-2^31 ~ 2^31-1）
bigint	8byte（-2^63 ~ 2^63-1）
float	4byte单精度
double	8byte双精度
string
boolean

        3.二、复合数据类型：ARRAY,MAP,STRUCT,UNION

    四、数据存储

        4.一、基于HDFS

        4.二、存储结构：database 、table 、file 、view

        4.三、指定行、列分隔符便可解析数据

    五、基本操做

        5.一、建立数据库：>create database db_name

        5.二、指定数据库：>use db

        5.三、显示表：show tables;

        5.四、建立表

                5.4.一、内部表（默认）：create table table_name(param_name type1,param_name2 type2,...) row format delimited fields terminated by '分隔符';

                 例：create table trade_detail(id bigint, account string, income double, expenses double, time string) row format delimited fields terminated by '\t';

                内部表相似数据库表，存储在HDFS上（位置经过hive.metastore.warehouse.dir参数查看，除了外部表之外都保存在此处的表），表被删除时，表的元数据信息一块儿被删除。

                加载数据：load data local inpath 'path' into table table_name;

                5.4.二、分区表：create table table_name(param_name type1,param_name2 type2,...) partitioned by (param_name type) row format delimited fields terminated by '分隔符'；

                例：create table td_part(id bigint, account string, income double, expenses double, time string) partitioned by (logdate string) row format delimited fields terminated by '\t';

                和普通表的区别：各个数据划分到不一样的分区文件，表中的每个partition对应表下的一个目录，尽管

                加载数据：load data local inpath 'path' into table table_name partition (parti_param1='value',parti_param2='value',..); 

                添加分区：alter table partition_table add partition (daytime='2013-02-04',city='bj');

                删除分区：alter table partition_table drop partition (daytime='2013-02-04',city='bj')，元数据和数据文件被删除，可是目录还存在

                5.4.三、外部表：create external table td_ext(id bigint, account string, income double, expenses double, time string) row format delimited fields terminated by '\t' location 'hdfs_path';

                加载数据：load data inpath 'hdfs_path' table_name;

                5.4.四、桶表：是对数据进行哈希取值，而后放到不一样文件中存储。
                建立表：create table bucket_table(id string) clustered by(id) into 4 buckets;

                加载数据：

                        set hive.enforce.bucketing = true;

                        必须先把以上的操做执行才能加载数据
                        insert into table bucket_table select name from stu;    
                        insert overwrite table bucket_table select name from stu;

                数据加载到桶表时，会对字段取hash值，而后与桶的数量取模。把数据放到对应的文件中。

                对数据抽样调查：select * from bucket_table tablesample(bucket 1 out of 4 on id);
        六、建立视图：CREATE VIEW v1 AS select * from t1;

        七、修改表：alter table tb_name add columns (param_name,type);
        八、删除表：drop table tb_name;

        九、数据导入

            9.一、加载数据：LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE]     INTO TABLE tablename     [PARTITION (partcol1=val1, partcol2=val2 ...)]

                    数据加载到表时，不会对数据进行转移，LOAD操做只是将数据复制到HIVE表对应的位置       
           9.二、Hive中表的互导：INSERT OVERWRITE TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement FROM from_statement
            9.三、create as ：CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name  (col_name data_type, ...)    …AS SELECT * FROM TB_NAME;

        十、查询

            10.一、语法结构

                        SELECT [ALL | DISTINCT] select_expr, select_expr, ...
                        FROM table_reference
                        [WHERE where_condition]
                        [GROUP BY col_list]
                        [ CLUSTER BY col_list | [DISTRIBUTE BY col_list] [SORT BY col_list] | [ORDER BY col_list] ]
                        [LIMIT number]

                        ALL and DISTINCT ：去重

            10.二、partition查询

                        利用分区剪枝（input pruning）的特性，相似“分区索引”，只有当语句中出现WHERE才会启动分区剪枝

            10.三、LIMIT Clause

                        Limit 能够限制查询的记录数。查询的结果是随机选择的。语法：SELECT * FROM t1 LIMIT 5
            10.四、Top N
                        SET mapred.reduce.tasks = 1   SELECT * FROM sales SORT BY amount DESC LIMIT 5

        十一、表链接

            11.一、内链接：select b.name,a.* from dim_ac a join acinfo b on (a.ac=b.acip) limit 10;
            11.二、左外链接：select b.name,a.* from dim_ac a left outer join acinfo b on a.ac=b.acip limit 10;

        十二、Java客户端

            12.一、启动远程服务#hive --service hiveserver

            12.二、相关代码     

Class.forName("org.apache.hadoop.hive.jdbc.HiveDriver");
Connection con = DriverManager.getConnection("jdbc:hive://192.168.1.102:10000/wlan_dw", "", "");
Statement stmt = con.createStatement();
String querySQL="SELECT * FROM wlan_dw.dim_m order by flux desc limit 10";

ResultSet res = stmt.executeQuery(querySQL);  

while (res.next()) {
    System.out.println(res.getString(1) +"\t" +res.getLong(2)+"\t" +res.getLong(3)+"\t" +res.getLong(4)+"\t" +res.getLong(5));
}

        1三、自定义函数（UDF）

            13.一、UDF函数能够直接应用于select语句，对查询结构作格式化处理后，再输出内容。
            13.二、编写UDF函数的时候须要注意一下几点：
                a）自定义UDF须要继承org.apache.hadoop.hive.ql.UDF。
                b）须要实现evaluate函数，evaluate函数支持重载。

            13.三、步骤
                a）把程序打包放到目标机器上去；
                b）进入hive客户端，添加jar包：hive>add jar /run/jar/udf_test.jar;
                c）建立临时函数：hive>CREATE TEMPORARY FUNCTION add_example AS 'hive.udf.Add';
                d）查询HQL语句：
                    SELECT add_example(8, 9) FROM scores;
                    SELECT add_example(scores.math, scores.art) FROM scores;
                    SELECT add_example(6, 7, 8, 6.8) FROM scores;
                e）销毁临时函数：hive> DROP TEMPORARY FUNCTION add_example;
                注：UDF只能实现一进一出的操做，若是须要实现多进一出，则须要实现UDAF

            13.四、代码

            

package cn.itheima.bigdata.hive;

import java.util.HashMap;

import org.apache.hadoop.hive.ql.exec.UDF;

public class AreaTranslationUDF extends UDF{
    
    private static HashMap<String, String> areaMap = new HashMap<String, String>();
    
    static{
        
        areaMap.put("138", "beijing");
        areaMap.put("139", "shanghai");
        areaMap.put("137", "guangzhou");
        areaMap.put("136", "niuyue");
        
    }

    //用来将手机号翻译成归属地,evaluate方法必定要是public修饰的，不然调不到
    public String evaluate(String phonenbr) {

        String area = areaMap.get(phonenbr.substring(0,3));
        return area==null?"other":area;

    }
    
    //用来求两个字段的和
    public int evaluate(int x,int y){
        
        return x+y;
    }

}