无法在oozie java操作中设置mapred.job.queue.name

wi3ka0sx  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(493)

我有一个运行crunch作业的应用程序。我正在尝试配置oozie以使用java操作运行此作业。我的行动如下:,

<workflow-app name="Wworkflow" xmlns="uri:oozie:workflow:0.4">
<start to="TestWw"/>
<action name="TestWw">
    <java>
        <job-tracker>${jobTracker}</job-tracker>
        <name-node>${nameNode}</name-node>
        <configuration>
            <property>
                <name>mapred.job.queue.name</name>
                <value>launcher</value>
            </property>
        </configuration>
        <main-class>com.test.Main</main-class>
        <java-opts>-Dmapred.output.compress=false -Dmapred.textoutputformat.separator=, -Dcrunch.disable.output.counters=true</java-opts>

    </java>
    <ok to="end"/>
    <error to="kill"/>
</action>
<kill name="kill">
    <message>Action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
</kill>
<end name="end"/>

但每次我做oozie的工作,我的工作就会

org.apache.hadoop.ipc.RemoteException(java.io.IOException): Queue "default" does not exist

我已经将队列配置为launcher,但是oozie没有使用这个属性。
请注意,我正在运行crunch作业,这只是内部map reduce作业。

92dk7w1h

92dk7w1h1#

当oozie操作启动时,它在yarn中创建一个启动程序应用程序,然后启动作业本身。启动程序可以在与操作本身不同的队列中运行,启动程序运行的队列实际上设置为 oozie.launcher.mapred.job.queue.name . 我怀疑现在发生的是你的发射装置想跑进去 default 因此,关键工作本身从来没有真正开始。
设置此选项可以解决您的问题:

<property>
       <name>oozie.launcher.mapred.job.queue.name</name>
       <value>launcher</value>
</property>

作为旁白, mapred.job.queue.name 已弃用-使用 mapreduce.job.queuename .

相关问题