amazonemr:将java系统属性传递给自定义jar

bsxbgnwa  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(336)

amazonemr是否允许将系统属性传递给自定义jar。 hadoop jar -Dkey=value myjob.jar ? ( key , value 在初始化应用程序本身时使用,而不是属于hadoop的 Configuration 对象。)
相关的线程如何使用amazon的emr在cli中使用自定义jar指定mapred配置和java选项?讨论仅通过引导操作将系统属性传递给hadoop守护进程的方法,显然,这不允许对java入口点类执行相同的操作。

ejk8hzay

ejk8hzay1#

如果不想将传递到Map器或还原器,可以在终端或脚本中执行以下操作-

export HADOOP_OPTS="-Dkey=value"
hadoop jar ...

你也可以把它们放进去 $HADOOP_HOME/conf/hadoop-env.sh ,而不是每次运行作业时都显式定义它们。
希望这有意义。

相关问题