如何在一个集群中运行hadoop流作业并将输出写入另一个集群?

hmtdttj4  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(277)

我有2个hadoop集群和2个不同的ugi。我想在一个集群中运行hadoop作业,因为队列是空的,但是我也想输出到另一个集群,因为它的hdfs是空的,我怎么做呢。
在hadoop流媒体作业中有没有一种方法和distcp(我可以设置source ugi和dest ugi)一样?
非常感谢你,穆奇

pbossiut

pbossiut1#

你可以试着把结果写出来 -output hdfs://namenode-2:port/path/data 在输出步骤中。
否则,它可能需要hdfs联邦

相关问题