hadoop版本的流式命令行选项的完整列表是什么？

cetgtptt 于 2021-05-27 发布在 Hadoop

关注(0)|答案(1)|浏览(274)

我浏览了hadoop网站，找到了hadoop流媒体的以下链接。
https://hadoop.apache.org/docs/current1/streaming.html
但是，我对hadoopyarn（mrv2）流式命令行选项更感兴趣。
如果有人有详尽的清单，你能把它贴在这里吗？
如果找不到，请告诉我下面命令中的任何命令行选项是否非法。

yarn jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-streaming.jar \
    -D mapred.jab.name="Streaming wordCount Rating" \
    -D mapreduce.job.output.key.comparator.class=org.apache.hadoop.mapreduce.lib.partition.KeyFieldBasedComparator \
    -D map.output.key.field.separator=\t \
    -D mapreduce.partition.keycomparator.options=-k2,2nr \
    -D mapreduce.job.reduces=${NUM_REDUCERS} \
    -files mapper2.py,reducer2.py \
    -mapper "python mapper2.py" \
    -reducer "python reducer2.py" \
    -input ${OUT_DIR} \
    -output ${OUT_DIR_2} > /dev/null

hadoop mapreduce yarn hadoop-streaming

来源：https://stackoverflow.com/questions/54512098/what-is-the-complete-list-of-streaming-command-line-options-possible-for-hadoop

1条答案

按热度按时间

0pizxfdo1#

如果要查看所有hadoop流式处理命令行选项，请参阅streamjob.java-setupoptions（）：

allOptions = new Options().
      addOption(input).
      addOption(output).
      addOption(mapper).
      addOption(combiner).
      addOption(reducer).
      addOption(file).
      addOption(dfs).
      addOption(additionalconfspec).
      addOption(inputformat).
      addOption(outputformat).
      addOption(partitioner).
      addOption(numReduceTasks).
      addOption(inputreader).
      addOption(mapDebug).
      addOption(reduceDebug).
      addOption(jobconf).
      addOption(cmdenv).
      addOption(cacheFile).
      addOption(cacheArchive).
      addOption(io).
      addOption(background).
      addOption(verbose).
      addOption(info).
      addOption(debug).
      addOption(help).
      addOption(lazyOutput);

与mapreduce相关的选项是所有mapreduce应用程序的常规选项，要查看这些选项是否有效，请查看mapred-default.xml配置变量。仅供参考：这是指hadoop2.8.0，因此您可能需要为您的hadoop版本找到合适的xml。

赞(0）回复(0）举报 2021-05-27

我来回答

hadoop版本的流式命令行选项的完整列表是什么？

1条答案

相关问题

热门标签

最新问答