apache ignite hadoop加速器mapreduce作业不在jobhistory服务器中

qkf9rpyu  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(281)

我目前正在运行ApacheIgniteHadoopAcceleratorforMapReduce。作业正在运行,但我无法在jobhistoryserver中看到它们。我不希望在yarn的资源管理器中看到这些工作(也不希望看到)。
我的mapreduce工作就像 hadoop --config path/to/config/ jar path/to/jar .... 在mapred-site.xml中,我添加了

<property>
  <name>mapreduce.framework.name</name>
  <value>ignite</value>
</property>
<property>
  <name>mapreduce.jobtracker.address</name>
  <value>[your_host]:11211</value>
</property>

我的mapreduce.jobhistory.*设置尚未更改。
在core-site.xml中我添加了

<property>
  <name>fs.default.name</name>
  <value>igfs://igfs@/</value>
</property>
<property>
  <name>fs.igfs.impl</name>
  <value>org.apache.ignite.hadoop.fs.v1.IgniteHadoopFileSystem</value>
</property>
<property>
  <name>fs.AbstractFileSystem.igfs.impl</name>
  <value>org.apache.ignite.hadoop.fs.v2.IgniteHadoopFileSystem</value>
</property>

我还将ignite-core-1.6.0.jar、ignite-hadoop-1.6.0.jar和ignite-shmem-1.0.0.jar添加到$hadoop\u主路径中。类似地,我导出了hadoop\u home、hadoop\u common\u home、hadoop\u hdfs\u home和hadoop\u mapred\u home。
是ignite不支持此功能还是我做错了什么?
另外,是否有方法跟踪在ignite上运行的mapreduce作业?

67up9zun

67up9zun1#

目前ignite还没有与hadoop历史服务器集成,这是一个问题https://issues.apache.org/jira/browse/ignite-3766 我请求。

相关问题