hiveudf,结构类型丢失类型信息是否仍有恢复类型信息的方法

9rygscc1  于 2021-06-26  发布在  Hive
关注(0)|答案(1)|浏览(343)

我的表主要有双类型列和一些字符串列。我使用行格式serde创建了表 'org.openx.data.jsonserde.JsonSerDe' 从文本文件。我首先使用命名的结构函数组合这些列,并将其传递给我的udf。像这样的。

select id, my_udf(named_struct("key1", col1, "key2", col2, "key3",col3, "key4", col4), other_udf_param1, other_udf_param2);

所以,col1、col2和col3是double类型,col4是string类型。
但它们都被转换成字符串。
这是我的evaluate函数的一个片段。

List<? extends StructField> fields = this.dataOI.getAllStructFieldRefs();

    for (int i = 0; i < fields.size(); i++) {
        System.out.println(fields.get(i).toString());
        String canName = this.featuresOI.getStructFieldData(arguments[2].get(), fields.get(i)).getClass().getCanonicalName();
        System.out.println(canName + " can name");
        System.out.println(this.dataOI.getStructFieldData(arguments[2].get(), fields.get(i)));
                }

这将返回所有字符串。
有没有办法保存列类型?

g6baxovj

g6baxovj1#

是的,列类型保留在字段对象检查器中。在hivecli上,对于named_struct,可以观察到相同的行为,但是对于map,输入都转换为字符串。

相关问题