从当前运行的作业运行新的hadoop流作业

9fkzdhlc  于 2021-06-04  发布在  Hadoop
关注(0)|答案(1)|浏览(348)

是否可以从其中一个创建并运行新的hadoop流作业
当前正在执行的常规hadoop java作业,或者
作为hadoop流作业的一部分执行的hadoopMap器(在python中)。
怎么做?

z9ju0rcb

z9ju0rcb1#

对于大多数java作业来说,在java程序中运行.jar很简单。python流作业也是如此。
$hadoop\u home/bin/hadoop jar$hadoop\u home/hadoop-streaming.jar -input myinputdirs -output myoutputdir -mapper org.apache.hadoop.mapred.lib.identitymapper -reducer/bin/wc

相关问题