如何在hadoop流中使用opt parser作为Map器指定python脚本

xlpyo6sf 于 2021-06-04 发布在 Hadoop

关注(0)|答案(1)|浏览(251)

如何在hadoop流媒体中指定一个python脚本作为opt解析器（并接受多个参数）作为Map器？？
例如，

$HADOOP_HOME/bin/hadoop  jar $HADOOP_HOME/hadoop-streaming.jar \
    -input myInputDirs \
    -output myOutputDir \
    -mapper myPythonScript.py \
    -reducer /bin/wc \
    -file myPythonScript.py

这是使用hadoop流执行python脚本的常规命令。如何说明mypythonscript.py是否有opt解析器。例如。

python myPythonscript.py -g --inputfile=Inputfilename --output=Ouputfilename -r

如何将其指定为Map器？？

hadoop python python-2.7 hadoop-streaming optparse

来源：https://stackoverflow.com/questions/28125837/how-to-specify-a-python-script-with-opt-parser-as-mapper-in-hadoop-streaming

1条答案

按热度按时间

kuarbcqp1#

$HADOOP_HOME/bin/hadoop  jar $HADOOP_HOME/hadoop-streaming.jar \
    -input myInputDirs \
    -output myOutputDir \
    -mapper "python myPythonscript.py -g --inputfile=Inputfilename --output=Ouputfilename -r" \
    -reducer /bin/wc \
    -file myPythonScript.py

赞(0）回复(0）举报 2021-06-04

我来回答

如何在hadoop流中使用opt parser作为Map器指定python脚本

1条答案

相关问题

热门标签

最新问答