Python实现Hive的UDF(案例)

构成

一、Python脚本实现想要实现的功能。

二、另外一个部分为HQL部分,调用Python脚本对数据进行处理。

一、Python部分

HQL调用Python实现的UDF其实有一个重定向的过程,

Python编写的UDF其实是一个重定向的过程,将HIVE中的列读入到Pyhon中,按行操作,首先将每行按照指定的分隔符分开,一般为'\t',然后对其进行操作,print需要的列,以'\t'分割。

二、HQL部分

--首先需要添加Python文件 add file pythonfile_location;

--然后通过transform(指定的列) ,指定的列是需要处理的列

select transform(指定的列) using "python filename" as (newname) --newname指输出的列的别名

注意:

使用transform的时候不能查询别的列 
比如:select a,trans(b,c) using "python udf.py" as(d,e)

            from t

扫描二维码关注公众号,回复: 3233645 查看本文章

         where d='2018-08-27'

三、案例

实现输入一个价格,输出这个价格的20个价格区间。

如输入价格290,那么输出最大值为300的20个价格区间

猜你喜欢

转载自blog.csdn.net/Jarry_cm/article/details/82118039