Hive 自定义函数UDF开发手把手教程—— 创建临时函数和永久函数

- 日理万妓 2023-06-06 10:49 48阅读 0赞

## Hive 自定义函数UDF开发手把手教程—— 创建临时函数和永久函数 ##

Hive中，除了提供丰富的内置函数（见[\[一起学Hive\]之二–Hive函数大全-完整版][Hive_Hive_-]）之外，还允许用户使用Java开发自定义的UDF函数。**开发自定义UDF函数有两种方式，一个是继承org.apache.hadoop.hive.ql.exec.UDF，另一个是继承org.apache.hadoop.hive.ql.udf.generic.GenericUDF；**

如果是针对简单的数据类型（比如String、Integer等）可以使用UDF，如果是针对复杂的数据类型（比如Array、Map、 Struct等），可以使用GenericUDF，另外，GenericUDF还可以在函数开始之前和结束之后做一些初始化和关闭的处理操作。

关于hive的udf介绍，就不多啰嗦了。下面将教会你怎样开发一个udf函数，已经如何部署到服务器上的hive环境中运行。用最简单的话来说，就是教大家怎么让自己开发的udf跑起来。。。

**大家记住下面一句话就可以：继承UDF类，重写evaluate方法，就可以了！**

## 1.自定义udf ##

###     1.1  使用IDEA创建maven项目，创建HelloUDF类 ，编写代码，修改pom文件，测试运行是否成功【[代码demo下载][demo]】 ###

### ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbGxveGlhb3poZQ_size_16_color_FFFFFF_t_70][] ###

> <?xml version="1.0" encoding="UTF-8"?>
> 
> <project xmlns="http://maven.apache.org/POM/4.0.0"
> 
> xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
> 
> xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
> 
> <modelVersion>4.0.0</modelVersion>
> 
>  
> 
> <groupId>utils.360jinrong.yyz</groupId>
> 
> <artifactId>HelloUDF</artifactId>
> 
> <version>1.0-SNAPSHOT</version>
> 
>  
> 
> 
> 
> <dependencies>
> 
> <dependency>
> 
> <groupId>org.apache.hive</groupId>
> 
> <artifactId>hive-exec</artifactId>
> 
> <version>0.13.0</version>
> 
> </dependency>
> 
> <dependency>
> 
> <groupId>org.apache.hadoop</groupId>
> 
> <artifactId>hadoop-common</artifactId>
> 
> <version>2.5.0</version>
> 
> </dependency>
> 
> </dependencies>
> 
>  
> 
> </project>

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbGxveGlhb3poZQ_size_16_color_FFFFFF_t_70 1][]

> package com.ruozedata.bigdata;
> 
> //引入需要继承的UDF类，这部分需要在pom文件新增hive相关的包
> 
> import org.apache.hadoop.hive.ql.exec.UDF;
> 
>  
> 
> public class HelloUDF extends UDF\{
> 
>  
> 
> //重写evaluate方法
> 
> public String evaluate(String input)\{
> 
> return "Hello:" + input;
> 
> \}
> 
>  
> 
> //重写evaluate方法
> 
> public String evaluate(String input,String input2)\{
> 
> return "Hello:" + input + ":" + input2;
> 
> \}
> 
>  
> 
> public static void main(String\[\] args)\{
> 
> HelloUDF udf = new HelloUDF();
> 
> System.out.println(udf.evaluate("Simth"));
> 
> System.out.println(udf.evaluate("Simth", "YAO"));
> 
> \}
> 
> \}

## 2.将自定义的udf函数打包成jar包 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbGxveGlhb3poZQ_size_16_color_FFFFFF_t_70 2][]

打包方法如上图所示，完成之后，会在项目的target目录下找到打包生成的jar包

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbGxveGlhb3poZQ_size_16_color_FFFFFF_t_70 3][]

## 3.创建临时udf函数 ##

### 3.1.创建临时函数语法： ###

> CREATE TEMPORARY FUNCTION function\_name AS class\_name;   
> 
>                     function\_name 函数名    
> 
>                     class\_name 类路径，包名+类名

### 3.2.将jar加入到hive中 ###

创建临时函数时添加的jar包应该时本地路径，而非hdfs路径

> hive> add jar /home/simth/softwares/self\_udf/HelloUDF-1.0-SNAPSHOT.jar;
> 
> /home/simth/softwares/self\_udf/HelloUDF-1.0-SNAPSHOT.jar does not exist
> 
> Query returned non-zero code: 1, cause: /home/simth/softwares/self\_udf/HelloUDF-1.0-SNAPSHOT.jar does not exist
> 
> hive> add jar /home/simth/test\_new/HelloUDF-1.0-SNAPSHOT.jar;
> 
> Added \[/home/simth/test\_new/HelloUDF-1.0-SNAPSHOT.jar\] to class path
> 
> Added resources: \[/home/simth/test\_new/HelloUDF-1.0-SNAPSHOT.jar\]

### 3.3.创建sayhello临时函数  ###

> hive> create temporary function sayhello as 'com.ruozedata.bigdata.HelloUDF';
> 
> OK
> 
> Time taken: 0.011 seconds
> 
> hive> show functions;
> 
> sayhello
> 
> second
> 
> ……
> 
> ……
> 
> year
> 
> |
> 
> ~
> 
> Time taken: 0.009 seconds, Fetched: 220 row(s)

### 3.4.测试使用函数 ###

> hive> select sayhello('zhang','san');
> 
> OK
> 
> Hello:zhang:san
> 
> Time taken: 6.337 seconds, Fetched: 1 row(s)
> 
> hive> select sayhello('zhang');
> 
> OK
> 
> Hello:zhang
> 
> Time taken: 7.944 seconds, Fetched: 1 row(s)

### 3.5.删除临时函数示例 ###

**语法：DROP TEMPORARY FUNCTION \[IF EXISTS\] function\_name; **

> hive> DROP TEMPORARY FUNCTION IF EXISTS sayhello;
> 
> OK
> 
> Time taken: 0.004 seconds
> 
> hive> select sayhello('zhang');
> 
> FAILED: SemanticException \[Error 10011\]: Line 1:7 Invalid function 'sayhello'

## 4.创建永久函数   ##

### 4.1.创建永久函数的语法：  ###

>             CREATE FUNCTION \[db\_name.\]function\_name AS class\_name 
> 
>             \[USING JAR|FILE|ARCHIVE 'file\_uri' \[, JAR|FILE|ARCHIVE 'file\_uri'\] \]; 
> 
>             file\_uri:是hdfs上的jar包目录

### 4.2. 添加jar包的方法  ###

>             -- hdfs的根目录下创建self\_udf文件夹,并将jar包上传到hdfs上的/self\_udf文件夹下 
> 
> \[hdp@app11 ~/simth/test\_new\]$ hadoop fs -put HelloUDF-1.0-SNAPSHOT.jar /home/simth/softwares/self\_udf/
> 
>             -- 查看jar 
> 
> \[hdp@app11 ~/simth/test\_new\]$ hadoop dfs -ls /home/simth/softwares/self\_udf
> 
> Found 1 items
> 
> \-rw-r--r-- 3 hdp hdp 2669 2019-10-11 10:50 /home/simth/softwares/self\_udf/HelloUDF-1.0-SNAPSHOT.jar

### 4.3.创建永久函数及查看示例 ###

> hive> CREATE FUNCTION sayhello AS 'com.ruozedata.bigdata.HelloUDF' USING JAR '/home/simth/softwares/self\_udf/HelloUDF-1.0-SNAPSHOT.jar';

之后在不同窗口都可使用该自定义函数：

-- 查看函数列表

>             hive> show functions; 
> 
>             OK 
> 
>             abs 
> 
>             acos 
> 
>             ……
> 
>             add\_months 
> 
>             ruozedata.sayhello 
> 
>             hive>

**注意：**

**1). ruozedata.sayhello函数创建成功。永久函数是已：库名.函数名的存在，同库使用的时候可以直接用函数名，不同库使用的时候需要带上库名 **

2). 临时函数和永久函数的区别： 临时函数仅对当前session(黑窗口)有效。 永久函数是全局的。

参考：[http://blog.itpub.net/29609890/viewspace-2157096/][http_blog.itpub.net_29609890_viewspace-2157096]

[https://blog.csdn.net/gongpulin/article/details/79406747][https_blog.csdn.net_gongpulin_article_details_79406747]

[Hive_Hive_-]: http://lxw1234.com/archives/2015/06/251.htm
[demo]: https://download.csdn.net/download/helloxiaozhe/11851460
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbGxveGlhb3poZQ_size_16_color_FFFFFF_t_70]: /images/20230601/e9450fbbd87e4b6792b9b0fa023a0086.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbGxveGlhb3poZQ_size_16_color_FFFFFF_t_70 1]: /images/20230601/f40e9063569b4d18bb7201bece5f5261.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbGxveGlhb3poZQ_size_16_color_FFFFFF_t_70 2]: /images/20230601/e27fc6b1a79549d592ad612009cd2cd6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbGxveGlhb3poZQ_size_16_color_FFFFFF_t_70 3]: /images/20230601/01f03396e9124b7aa9ea377b11d43b84.png
[http_blog.itpub.net_29609890_viewspace-2157096]: http://blog.itpub.net/29609890/viewspace-2157096/
[https_blog.csdn.net_gongpulin_article_details_79406747]: https://blog.csdn.net/gongpulin/article/details/79406747