是否可以从其中一个创建并运行新的hadoop流作业当前正在执行的常规hadoop java作业,或者作为hadoop流作业的一部分执行的hadoopMap器(在python中)。怎么做?
z9ju0rcb1#
对于大多数java作业来说,在java程序中运行.jar很简单。python流作业也是如此。$hadoop\u home/bin/hadoop jar$hadoop\u home/hadoop-streaming.jar -input myinputdirs -output myoutputdir -mapper org.apache.hadoop.mapred.lib.identitymapper -reducer/bin/wc
1条答案
按热度按时间z9ju0rcb1#
对于大多数java作业来说,在java程序中运行.jar很简单。python流作业也是如此。
$hadoop\u home/bin/hadoop jar$hadoop\u home/hadoop-streaming.jar -input myinputdirs -output myoutputdir -mapper org.apache.hadoop.mapred.lib.identitymapper -reducer/bin/wc