计算机系统应用教程网站

网站首页 > 技术文章 正文

如何优雅的编写Hive的自定义UDF解析json数组?

btikc 2024-10-12 10:57:40 技术文章 7 ℃ 0 评论

前文我们讲了怎么用Hive的内置函数解析json字符串,不了解的小伙伴可以先看下前文。

如何优雅的用Hive处理json格式字符串?

文章最后我们遇到了一个问题,Hive的内置函数无法解析json数组字符串,今天我们就来看下,如何通过自定义UDF函数解析json数组。

通过本文你将会学习到:

  • 如何用Java代码写Hive自定义函数
  • 如何将自定义函数设置为Hive的函数
  • 自定义函数的使用

前文遗留的问题

先看下前文遗留的问题:


上图所示是我们通过Hive内置函数解析json字符串得到的字段,但是继续解析players字段时遇到了瓶颈。

思路

先抛开这个问题不谈,相信大家都了解过Hive的表生成函数explode,该函数接收一个ARRAY类型,返回值是传入的array的每个元素。以下是它的用法:

hive> SELECT explode(array('{"id":1,"name":"zs"}','{"id":2,"name":"ls"}'));
# 返回值为
{"id":1,"name":"zs"}
{"id":2,"name":"ls"}

那么我们能否通过自定义UDF函数将前文的players字段(json数组)转化为array类型,作为explode的参数呢?

下面我们就来实践一下:

UDF函数编写

Hive编写自定义UDF函数需要引入如下两个依赖到POM文件:

    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-common</artifactId>
      <version>${hadoop.version}</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hive</groupId>
      <artifactId>hive-exec</artifactId>
      <version>${hive.version}</version>
    </dependency>

hadoop.version和hive.version对应集群中hive和hadoop的版本。

然后就是Java代码编写部分,这部分只需要继承UDF函数,然后写一个evaluate方法即可,evaluate函数接收json数组作为输入,返回值为一个ArrayList<String>。详细代码如下:

package com.xxx.xxx.xxx;

import org.apache.hadoop.hive.ql.exec.Description;
import org.apache.hadoop.hive.ql.exec.UDF;
import org.json.JSONArray;
import org.json.JSONException;

import java.util.ArrayList;

/**
 * <p>Title:json_array_parser udf</p>
 *
 * @author Arya
 * @date 2021/5/30 10:52
 */
@Description(name = "json_array_parser",
        value = "_FUNC_(json_arr_string) - from the input jsonArray string, " +
                "returns hive array string.",
        extended = "Examples:\n" +
                "> SELECT _FUNC_(json_arr_string) FROM src;"
)
public class UDFJsonArrayParser extends UDF {
    public ArrayList<String> evaluate(String jsonArrayStr) {
        if(jsonArrayStr == null) {
            return null;
        }
        try {
            JSONArray jsonArray = new JSONArray(jsonArrayStr);
            ArrayList<String> result = new ArrayList<>();
            for (int i = 0; i < jsonArray.length(); i++) {
                result.add(jsonArray.get(i).toString());
            }
            return result;
        } catch (JSONException e) {
            return null;
        }
    }
}

@Description注解注明了函数的文档说明,name定义了函数名,value定义了函数的使用方法(DESCRIBE FUNCTION ...可查看),extended定义了函数的使用例子(DESCRIBE FUNCTION EXTENDED ...可查看)。

编写完毕后使用mvn package命令打包,然后将jar包上传到linux本地文件系统。

使用自定义UDF

首先我们要把打好的JAR包加入到类路径下,并在Hive会话中声明自定义UDF函数:

# hive会话级(其他会话不能使用)
hive> ADD JAR /home/bi/test/da-hive-udf-1.0-SNAPSHOT.jar;
Added [/home/bi/test/da-hive-udf-1.0-SNAPSHOT.jar] to class path
Added resources: [/home/bi/test/da-hive-udf-1.0-SNAPSHOT.jar]
# 创建临时函数
hive> CREATE TEMPORARY FUNCTION json_array_parser AS 'com.xxx.xxx.xxx.UDFJsonArrayParser';
OK
Time taken: 0.13 seconds

通过DESCRIBE命令查看函数:

通过自定义函数解析json数组。

hive> SELECT t1.logdate,t1.logtype,t1.game_id,t1.timestamp,t1.start_time,p.player
    > FROM (
    >     SELECT t.logdate,t.logtype,players,game_id,timestamp,start_time 
    >     FROM stark.game_result_test t
    >     lateral view json_tuple(t.content,'players','game_id','timestamp','start_time') a AS players,game_id,timestamp,start_time
    > ) t1 lateral view explode(json_array_parser(t1.players)) p AS player;

返回结果


不难看出players字段已经被拆分成了一个个player,后续player内的字段通过前文的json_tuple函数或get_json_object函数解析即可。

最后

本文从解析json数组出发,带领大家简单地完成了一个UDF函数的编写,并通过案例,介绍了自定义UDF的使用。实际应用中大家只需要把UDF函数注册为Hive的永久函数即可。

本文暂时没有评论,来添加一个吧(●'◡'●)

欢迎 发表评论:

最近发表
标签列表