网站首页 > 技术文章 正文
前文我们讲了怎么用Hive的内置函数解析json字符串,不了解的小伙伴可以先看下前文。
文章最后我们遇到了一个问题,Hive的内置函数无法解析json数组字符串,今天我们就来看下,如何通过自定义UDF函数解析json数组。
通过本文你将会学习到:
- 如何用Java代码写Hive自定义函数
- 如何将自定义函数设置为Hive的函数
- 自定义函数的使用
前文遗留的问题
先看下前文遗留的问题:
上图所示是我们通过Hive内置函数解析json字符串得到的字段,但是继续解析players字段时遇到了瓶颈。
思路
先抛开这个问题不谈,相信大家都了解过Hive的表生成函数explode,该函数接收一个ARRAY类型,返回值是传入的array的每个元素。以下是它的用法:
hive> SELECT explode(array('{"id":1,"name":"zs"}','{"id":2,"name":"ls"}'));
# 返回值为
{"id":1,"name":"zs"}
{"id":2,"name":"ls"}
那么我们能否通过自定义UDF函数将前文的players字段(json数组)转化为array类型,作为explode的参数呢?
下面我们就来实践一下:
UDF函数编写
Hive编写自定义UDF函数需要引入如下两个依赖到POM文件:
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>${hadoop.version}</version>
</dependency>
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-exec</artifactId>
<version>${hive.version}</version>
</dependency>
hadoop.version和hive.version对应集群中hive和hadoop的版本。
然后就是Java代码编写部分,这部分只需要继承UDF函数,然后写一个evaluate方法即可,evaluate函数接收json数组作为输入,返回值为一个ArrayList<String>。详细代码如下:
package com.xxx.xxx.xxx;
import org.apache.hadoop.hive.ql.exec.Description;
import org.apache.hadoop.hive.ql.exec.UDF;
import org.json.JSONArray;
import org.json.JSONException;
import java.util.ArrayList;
/**
* <p>Title:json_array_parser udf</p>
*
* @author Arya
* @date 2021/5/30 10:52
*/
@Description(name = "json_array_parser",
value = "_FUNC_(json_arr_string) - from the input jsonArray string, " +
"returns hive array string.",
extended = "Examples:\n" +
"> SELECT _FUNC_(json_arr_string) FROM src;"
)
public class UDFJsonArrayParser extends UDF {
public ArrayList<String> evaluate(String jsonArrayStr) {
if(jsonArrayStr == null) {
return null;
}
try {
JSONArray jsonArray = new JSONArray(jsonArrayStr);
ArrayList<String> result = new ArrayList<>();
for (int i = 0; i < jsonArray.length(); i++) {
result.add(jsonArray.get(i).toString());
}
return result;
} catch (JSONException e) {
return null;
}
}
}
@Description注解注明了函数的文档说明,name定义了函数名,value定义了函数的使用方法(DESCRIBE FUNCTION ...可查看),extended定义了函数的使用例子(DESCRIBE FUNCTION EXTENDED ...可查看)。
编写完毕后使用mvn package命令打包,然后将jar包上传到linux本地文件系统。
使用自定义UDF
首先我们要把打好的JAR包加入到类路径下,并在Hive会话中声明自定义UDF函数:
# hive会话级(其他会话不能使用)
hive> ADD JAR /home/bi/test/da-hive-udf-1.0-SNAPSHOT.jar;
Added [/home/bi/test/da-hive-udf-1.0-SNAPSHOT.jar] to class path
Added resources: [/home/bi/test/da-hive-udf-1.0-SNAPSHOT.jar]
# 创建临时函数
hive> CREATE TEMPORARY FUNCTION json_array_parser AS 'com.xxx.xxx.xxx.UDFJsonArrayParser';
OK
Time taken: 0.13 seconds
通过DESCRIBE命令查看函数:
通过自定义函数解析json数组。
hive> SELECT t1.logdate,t1.logtype,t1.game_id,t1.timestamp,t1.start_time,p.player
> FROM (
> SELECT t.logdate,t.logtype,players,game_id,timestamp,start_time
> FROM stark.game_result_test t
> lateral view json_tuple(t.content,'players','game_id','timestamp','start_time') a AS players,game_id,timestamp,start_time
> ) t1 lateral view explode(json_array_parser(t1.players)) p AS player;
返回结果
不难看出players字段已经被拆分成了一个个player,后续player内的字段通过前文的json_tuple函数或get_json_object函数解析即可。
最后
本文从解析json数组出发,带领大家简单地完成了一个UDF函数的编写,并通过案例,介绍了自定义UDF的使用。实际应用中大家只需要把UDF函数注册为Hive的永久函数即可。
猜你喜欢
- 2024-10-12 大数据分析工具——hive入门 hive数据分析的一般流程是什么
- 2024-10-12 019Hive基本使用03 019Hive基本使用03 #liaoit
- 2024-10-12 手把手教你搭建Hive环境 搭建hive集群
- 2024-10-12 0474-如何使用SQL Developer访问Hive
- 2024-10-12 大数据之-HIVE入门(十四) php hive大数据处理
- 2024-10-12 Hive 迁移参考方案及测试(下) hive表迁移
- 2024-10-12 0263-Hive2.2.0如何与CDH集群中的Spark1.6集成
- 2024-10-12 如何在HUE上通过oozie调用Hive SQL工作流
- 2024-10-12 百度二面:你做过哪些Hive调优啊? hive调优与参数设置
- 2024-10-12 HiveSQL:如何从给定的日期中减去指定数量的天数?
你 发表评论:
欢迎- 最近发表
- 标签列表
-
- oraclesql优化 (66)
- 类的加载机制 (75)
- feignclient (62)
- 一致性hash算法 (71)
- dockfile (66)
- 锁机制 (57)
- javaresponse (60)
- 查看hive版本 (59)
- phpworkerman (57)
- spark算子 (58)
- vue双向绑定的原理 (68)
- springbootget请求 (58)
- docker网络三种模式 (67)
- spring控制反转 (71)
- data:image/jpeg (69)
- base64 (69)
- java分页 (64)
- kibanadocker (60)
- qabstracttablemodel (62)
- java生成pdf文件 (69)
- deletelater (62)
- com.aspose.words (58)
- android.mk (62)
- qopengl (73)
- epoch_millis (61)
本文暂时没有评论,来添加一个吧(●'◡'●)