自定义hive永久函数详细步骤

自定义hive永久函数详细步骤

需求缘由：

本公司有部门须要，hive自己提供一个nvl的函数，可是该函数只对null值起做用，如今的需求是不仅是对null起做用，对“”这样的空值也要起做用，因此须要自定义一个名叫nvls的函数，并集成到hive当中去。

具体步骤：

1：先写好java文件内容以下：

package org.apache.hadoop.hive.ql.udf;

 

import org.apache.hadoop.hive.ql.exec.UDF;

import org.apache.hadoop.io.Text;

 

public class MyNvl extends UDF {

public Text evaluate(final Text t,final Text x) {

if(t!=null){

if(t.toString().equals("")){

return x;

}

}else{

return x;

}

return t;

}

}

2：测试：

2.1：先打成jar包名叫lixiyuan.jar，而后上传到服务器上。本人帐户是zb_test。

Jar包放到/data/zb_test目录下。

而后进入hive

选测试的数据库：

Use test

而后添加jar包

Add jar /data/zb_test/lixiyuan.jar

而后建立函数

Create temporary function nvls as ‘org.apahce.hadoop.hive.ql.udf.MyNvl’;

而后就能够测试了

测试成功之后咱们就要把集成到hive中去。

3：把函数集成到hive中去

先说一下添加永久函数的思路：首先hive里的函数是跟hive-exec-0.12.0-cdh5.0.0.jar个jar包有关的

具体的说就是咱们要作两件事：

1：先修改环境变量vi ./.bashrc。内容修改成为以下：

把CLASSPATH改为以下：

export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$SQOOP_HOME/lib:/opt/boh-2.0.0/hadoop/share/hadoop/tools/lib/*:/opt/boh-2.0.0/hadoop/share/hadoop/common/lib/*:/opt/boh-2.0.0/hadoop/share/hadoop/common/*:/opt/boh-2.0.0/hive/li

（为一行）

把刚刚写的java文件编译成class文件，而后添加到hive-exec-0.12.0-cdh5.0.0.jar解压后的udf目录下

2：修改hive-exec-0.12.0-cdh5.0.0.jar里的exec目录下的FunctionRegistry文件，可是咱们解压出来的是都人家编译好的，因此得须要咱们找到源码，找到FunctionRegistry.java文件后，往里面添加：

import org.apache.hadoop.hive.ql.udf.MyNvl;

registerUDF(“nvls”, MyNvl.class,false);

完成这两个步骤就能够了。

可是问题来了：

完成第一个步骤是简单的，完成第二个步骤就复杂一点了，由于我们修改了FunctionRegistry.java文件后得编译成class文件之后才能用来替换原来的FunctionRegistry.class文件。因此如今解决的是怎么编译FunctionRegistry.java文件。

3：如何编译FunctionRegistry.java文件：

由于FunctionRegistry.java里面有：import org.apache.hadoop.hive.ql.udf.MyNvl;

registerUDF(“nvls”, MyNvl.class,false);这样的信息。

因此咱们先把刚刚先新建这样的一个目录：

Org/apache/hadoop/hive/ql/udf而后往里面放MyNvl.class文件。

而后把这个org的目录打成jar包。名叫hello.jar

Jar -cvf /data/zb_test/hello.jar /data/zb_test/org/

接着，修改环境变量：

把CLASSPATH改为以下：

export CLASSPATH=/data/zb_test/hello.jar:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$SQOOP_HOME/lib:/opt/boh-2.0.0/hadoop/share/hadoop/tools/lib/*:/opt/boh-2.0.0/hadoop/share/hadoop/common/lib/*:/opt/boh-2.0.0/hadoop/share/hadoop/common/*:/opt/boh-2.0.0/hive/li

而后这样就能够编译FunctionRegistry.java文件了

Javac ./FunctionRegistry.java

而后用生成的FunctionRegistry.class文件替换原来的文件。而后从新把解压的东西打包成：

hive-exec-0.12.0-cdh5.0.0.jar替换hive里原来的就ok了。

搞定，手工！