sqoop任务,以连接拒绝异常结束

bqujaahr  于 2021-06-03  发布在  Hadoop
关注(0)|答案(2)|浏览(342)

我正在尝试使用oozie执行sqoop任务。代码结构如下
我在本地文件系统中有一个job.properties文件,用于提交oozie作业。job.properties文件如下

namenode=hdfs://servername:8020
jobtracker=servername:8021
queuename=default
oozie.wf.application.path=${namenode}/user/username/oozie

命令,我用的是提交作业

oozie job -oozie http://localhost:11000/oozie \PATH\job.properties -run

我的workflow.xml位于hdfs路径,如properties application path(/user/username/oozie)中所述。对于hdfs文件夹中的workflow.xml,我也复制了sqljdbc4.jar。
一旦我提交了我的作业,我就会在oozie.log文件中发现这个错误。

Caused by: java.net.ConnectionException: Call to
servername/10.248.92.1:8021 failed on connection exception:

我不确定是什么导致了这个异常。一件奇怪的事情是,这个ip地址:10.248.92.1是同一个服务器名。

kb5ga3dv

kb5ga3dv1#

这意味着jobtracker由于某种原因未在端口8021上运行或未侦听。做一个 telnet servername 8021 并进行验证。

eni9jsuy

eni9jsuy2#

我看到你在经营hortonworks。它们最近将jobtracker端口默认更改为50030。这给了你两个选择。1) 将属性文件和任何其他依赖于jobtracker端口的文件/设置的端口更改为8021,或2)将jobtracker端口更改回8021。如果您更喜欢选项2,以下是说明。
jobtracker端口不是一个容易跟踪的设置,但是对于hdp1.3.2,您可以在中找到它 /usr/lib/ambari-server/web/javascripts/apps.js . 查找如下所示的块:

{
    "name": "mapred.job.tracker",
    "templateName": ["jobtracker_host"],
    "foreignKey": null,
    "value": "<templateName[0]>:50300",
    "filename": "mapred-site.xml"
},

然后改变主意 503008021 . 不幸的是,这一变化不足以让集群获取新端口。转到ambari web ui并停止mapreduce服务。系统将转到其配置,并可能会进行良性更改(如果需要,您可以稍后再进行更改)。重新启动mapreduce后,对jobtracker端口的更改将保持不变,您将在端口8021上运行。如果您正在运行依赖于jobtracker端口的其他服务,请继续,停止并重新启动它们。
不幸的是,每次升级集群时都必须这样做(除非hortonworks更改了设置方式)。你可能只想咬紧牙关,让一切寻找50300端口上的jobtracker。

相关问题