piglatinMap键值

cqoc49vn 于 2021-06-21 发布在 Pig

关注(0)|答案(2)|浏览(316)

我第一次使用piglatin代码，希望能够访问Map中的值，首先将键值生成为字符，然后使用该键。例如，类别ID是我的Map，

catIds = foreach filteredContexts generate elementId,SUBSTRING(categoryAndConfidence,0,2) as catId;
categoryNames = foreach catIds generate elementId, categoryIds#catId as catName;

这是我收到的错误：错误1000：解析时出错。在第28行第64列遇到“catid”。期待一个“空”空“。。。
我想做的是不可能的吗？每次使用Map时是否需要显式地声明键值（例如：categoryids#'51'）？

hadoop apache-pig Map

来源：https://stackoverflow.com/questions/10952048/piglatin-map-key-value

2条答案

按热度按时间

nimxete21#

据我所知，pig并没有提供任何从Map上获取钥匙的内置方法。对于map字段，只能使用size函数获取其大小，使用isempty函数检查其是否为空，或者使用map#field#'key'查找给定键的值。
我自己编写了一些udf来帮助我更好地处理map数据类型。我的一个函数可能对您有用—maptobag—它可以转换Map :map[value_type] 装进袋子里 :bag{:tuple(key:chararray, value:value_type)} . 有了这个包，你可以拿到钥匙，也可以进行展平操作。

package com.XXX.YYY.ZZZ;

import org.apache.pig.EvalFunc;
import org.apache.pig.FuncSpec;
import org.apache.pig.data.*;
import org.apache.pig.impl.logicalLayer.FrontendException;
import org.apache.pig.impl.logicalLayer.schema.Schema;

import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import java.util.Map;

public class MapToBag extends EvalFunc<DataBag> {

    @Override
    public DataBag exec(Tuple input) throws IOException {
        if (input == null || input.size() == 0) {
            return null;
        }

        @SuppressWarnings("unchecked")
        Map<String, Object> map = (Map<String, Object>) input.get(0);
        if (map == null || map.isEmpty()) {
            return null;
        }

        DataBag bag = bagFactory.newDefaultBag();
        for (String key : map.keySet()) {
            Object value = map.get(key);
            Tuple oneKeyTuple = tupleFactory.newTuple(2);
            oneKeyTuple.set(0, key);
            oneKeyTuple.set(1, value);
            bag.add(oneKeyTuple);
        }

        return (bag.size() == 0) ? null : bag;
    }

    @Override
    public Schema outputSchema(Schema input) {
        try {
            Schema innerSchema = new Schema();
            innerSchema.add(new Schema.FieldSchema("key", DataType.CHARARRAY));
            innerSchema.add(getMapValueSchema(input));
            Schema tupleSchema = new Schema(new Schema.FieldSchema(null, innerSchema, DataType.TUPLE));
            return new Schema(new Schema.FieldSchema(null, tupleSchema, DataType.BAG));
        } catch (FrontendException e) {
            return new Schema(new Schema.FieldSchema(null, DataType.BAG));
        }
    }

    protected Schema.FieldSchema getMapValueSchema(Schema input) throws FrontendException {
        if (input == null || input.size() == 0) {
            return null;
        }
        Schema.FieldSchema mapField = input.getField(0);
        if (mapField.type != DataType.MAP) {
            return null;
        }

        Schema valueSchema = mapField.schema;
        if (valueSchema == null || valueSchema.size() == 0) {
            return null;
        }
        Schema.FieldSchema valueField = valueSchema.getField(0);
        valueField.alias = "value";
        return valueField;
    }

    @Override
    public List<FuncSpec> getArgToFuncMapping() throws FrontendException {
        List<FuncSpec> funcList = new ArrayList<FuncSpec>();
        funcList.add(new FuncSpec(this.getClass().getName(), new Schema(new Schema.FieldSchema(null, DataType.MAP))));
        return funcList;
    }

    private static TupleFactory tupleFactory = TupleFactory.getInstance();
    private static BagFactory bagFactory = BagFactory.getInstance();
}

赞(0）回复(0）举报 2021-06-21

jchrr9hc2#

在你的代码里， catIds 只有两个字段- elementId 以及 catId ，您正在尝试访问 categoryIds 在第二行。所以这行不通。请把它修好。
特别是关于如何访问Map值，您需要将键括在引号中，例如 categoryIds#'catId'

赞(0）回复(0）举报 2021-06-21