使用apache ignite hadoop加速器提交hadoop作业

6ju8rftf  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(423)

免责声明:我对hadoop和apacheignite都是新手。抱歉,你的背景资料太长了。
安装程序:我已经安装并配置了apacheignitehadoop加速器。start-all.sh提供以下服务。我可以提交hadoop作业。他们完成了,我可以看到预期的结果。start都使用传统的核心站点、hdfs站点、mapred站点和yarn站点配置文件。

28336 NodeManager
28035 ResourceManager
27780 SecondaryNameNode
27429 NameNode
28552 Jps
27547 DataNode

我还安装了ApacheIgnite2.6.0。我可以启动ignite节点,使用web控制台连接到它。我能够从mysql加载缓存,并对这个缓存运行sql查询和java程序。
为了使用ignited hadoop运行hadoop作业,我创建了一个单独的ignite config目录,在其中我按照apache ignite网站中的说明自定义了核心站点和Map站点配置。
问题:当我使用以下命令运行hadoop作业时:

hadoop --config  ~/ignite-conf jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.0.jar wordcount input output1

我得到以下错误(注意,相同的作业在hadoop/without ignite上成功运行):
java.io.ioexception:获取新作业id失败。
... ...
原因:class org.apache.ignite.internal.client.gridclientdisconnectedexception:最新拓扑更新失败。。。
原因:class org.apache.ignite.internal.client.gridserverunreachableexception:无法连接到列表中的任何服务器:[/:13500]
... ...
看起来,有人试图查找jobtracker(13500),但找不到。从上面的服务列表中,很明显job tracker没有运行。然而,在未点燃的hadoop over-yarn上,这个任务运行得很好。
你能帮忙吗?

ghhaqwfi

ghhaqwfi1#

这在我的情况下已经解决了。这里的作业跟踪器意味着apache ignite内存缓存服务监听端口11211。在mapred-site.xml中进行此更改后,作业运行了!

相关问题