我正在尝试使用oozie执行sqoop任务。代码结构如下
我在本地文件系统中有一个job.properties文件,用于提交oozie作业。job.properties文件如下
namenode=hdfs://servername:8020
jobtracker=servername:8021
queuename=default
oozie.wf.application.path=${namenode}/user/username/oozie
命令,我用的是提交作业
oozie job -oozie http://localhost:11000/oozie \PATH\job.properties -run
我的workflow.xml位于hdfs路径,如properties application path(/user/username/oozie)中所述。对于hdfs文件夹中的workflow.xml,我也复制了sqljdbc4.jar。
一旦我提交了我的作业,我就会在oozie.log文件中发现这个错误。
Caused by: java.net.ConnectionException: Call to
servername/10.248.92.1:8021 failed on connection exception:
我不确定是什么导致了这个异常。一件奇怪的事情是,这个ip地址:10.248.92.1是同一个服务器名。
2条答案
按热度按时间kb5ga3dv1#
这意味着jobtracker由于某种原因未在端口8021上运行或未侦听。做一个
telnet servername 8021
并进行验证。eni9jsuy2#
我看到你在经营hortonworks。它们最近将jobtracker端口默认更改为50030。这给了你两个选择。1) 将属性文件和任何其他依赖于jobtracker端口的文件/设置的端口更改为8021,或2)将jobtracker端口更改回8021。如果您更喜欢选项2,以下是说明。
jobtracker端口不是一个容易跟踪的设置,但是对于hdp1.3.2,您可以在中找到它
/usr/lib/ambari-server/web/javascripts/apps.js
. 查找如下所示的块:然后改变主意
50300
至8021
. 不幸的是,这一变化不足以让集群获取新端口。转到ambari web ui并停止mapreduce服务。系统将转到其配置,并可能会进行良性更改(如果需要,您可以稍后再进行更改)。重新启动mapreduce后,对jobtracker端口的更改将保持不变,您将在端口8021上运行。如果您正在运行依赖于jobtracker端口的其他服务,请继续,停止并重新启动它们。不幸的是,每次升级集群时都必须这样做(除非hortonworks更改了设置方式)。你可能只想咬紧牙关,让一切寻找50300端口上的jobtracker。