Hive自定义函数(simple)

Hive可以自定义函数,自定义函数分为两种,一种是simple,simple是通过java反射机制,所以效率上有一定的折扣,对性能有一定的损耗。另一种是generic,generic使用分布式JAVA API,类似于Hadoop的一套API

一、分类

UDF(普通):操作作用于单个数据行,产生一个数据行作为输出。(数学函数,字符串函数)

UDAF(用户定义聚集函数):接收多个输入数据行,并产生一个输出数据行。(count,max)

UDTF(用户定义表生成函数):操作作用于单个数据行,并产生多个数据行----一个表作为输出

二、添加函数到hive库

扫描二维码关注公众号,回复: 743232 查看本文章

add jar /home/hadoop/workspace/hiveext/target/hiveext-0.0.1-SNAPSHOT.jar;

create temporary function strip as 'com.simple.udf.Strip';

create temporary function explodefield as 'com.simple.udtf.ExplodeField';

三、UDF

1.继承org.apache.hadoop.hive.ql.exec.UDF

2.至少实现一个evaluate方法,evaluate方法参数不限

四、UDAF

1.继承org.apache.hadoop.hive.ql.exec.UDAF

2.包含一个或多个嵌套的实现了org.apache.hadoop.hive.ql.exec的静态类

3.实现以下方法

init():负责初始化计算函数并重设它的内部状态。

iterate():每次对一个新值进行聚集计算都会调用该方法。其中iterate()接收的参数跟hive的参数对应。

terminatePartial():部分聚集结果,返回一个封装了聚集计算当前状态的对象。

merge():合并一部分聚集值和另一部分聚集值,接收一个对象作为输入,对象类型与terminatePartial()返回类型一致

terminate ():返回最终的聚集结果

五、UDTF

1.继承org.apache.hadoop.hive.ql.udf.generic.GenericUDTF。
2.实现initialize, process, close三个方法
3.UDTF首先会调用initialize方法,此方法返回UDTF的返回行的信息(返回个数,类型)。
初始化完成后,会调用process方法,对传入的参数进行处理,可以通过forword()方法把结果返回。
最后close()方法调用,对需要清理的方法进行清理。 

猜你喜欢

转载自yugouai.iteye.com/blog/1850860