reducer通过sys.stdin获取多个键?

sxissh06  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(256)

我知道与一个键相关的所有值都被发送到一个reducer。减速机是否可以通过其标准输入一次获得多个键?
我的用例是将行拆分为键值对,然后将与键相关联的所有行发送到api。我看到多个键同时被发送到api中。
下面是我的作业正在运行的一些示例代码
制图器

def main():
    for line in sys.stdin
        part1 = get_part1(line)
        part2 = get_part2(line)
        key = '%s - %s' % (part1, part2)
        print '%s\t%s' % (key, line)

减速机

def main():
    my_module.sent_to_api(sys.stdin)
uqxowvwt

uqxowvwt1#

虽然与一个键相关联的所有值都被发送到一个reducer,但该reducer可能得到的不仅仅是一个键,因此在每个输出文件中都会出现多个键。

相关问题