在cloudera中为oozie(调用pig脚本)配置正确的端口

axr492tv  于 2021-06-25  发布在  Pig
关注(0)|答案(2)|浏览(323)

我是cdh4 oozie工作流编辑器的新手。在尝试从oozie工作流编辑器调用pig脚本时,出现以下错误。

HadoopAccessorException: E0900: Jobtracker [mymachine:8032] not allowed, not in Oozies whitelist

看起来oozie正在将作业提交给yarn port(8032)。我要它提交到8021(mr jobtracker)端口。有没有人能帮我确定在哪里设置job tracker的url或端口,以便oozie选择正确的url或端口(使用hue或cloudera管理器)。
以前我试过以下方法,但都没用
modified workflow.xml文件/user/hue/oozie/workspaces/./workflow.xml文件。但是,当我从工作流编辑器提交作业时,它会被覆盖。
在cloudera manager-->oozie-->configuration-->oozie server(advanced)-->oozie server configuration safety valve for oozie-site.xml属性中,我设置了以下内容-

<property>
    <name>oozie.service.HadoopAccessorService.nameNode.whitelist</name>
<value>mymachine:8020</value>

oozie.service.hadoopaccessorservice.jobtracker.whitelistmymachine:8021
重新启动了oozie服务。三。配置pig任务时尝试重写“jobtracker”属性。这在工作流文件中显示如下,但是它不生效(或不重写),并且仍然使用8032端口。

<global>
            <configuration>
                <property>
                    <name>jobTracker</name>
                    <value>mymachine:8021</value>
                </property>
            </configuration>
 </global>

我用的是cdh4版本。
谢谢你调查我的问题。

6jygbczu

6jygbczu1#

如果使用8032,这意味着色相是为Yarn/mr2配置的。你在/关于页上有什么警告吗?您确定您没有使用mr2而不是mr1吗?
更多信息
在我的设置中,我将其留空:

<property>
    <name>oozie.service.HadoopAccessorService.jobTracker.whitelist</name>
    <value> </value>
    <description>
        Whitelisted job tracker for Oozie service.
    </description>
</property>
h6my8fg2

h6my8fg22#

我对我们新的cloudera集群和在vmware中运行的本地hadoop box也有同样的问题。我所做的-我在cloudera manager中查找mapreduce1服务的主机名,并将其放入workflow.properties中的jobtracker属性中,该属性由

<action name="report">
  <java>
    <job-tracker>${jobTracker}</job-tracker>
    ...
  </java>
</action>

对于vmware中的本地hadoop框,正确的值是localhost.localdomain

相关问题