我正在尝试用hadoop设置igfs作为辅助存储。我已经设置了我的配置，如图所示，但我不断得到 NoClassDefFoundError s。我下载了ignite的两个二进制发行版，也尝试过从源代码构建，但不包括依赖项。 hadoop-common-2.6.0.jar 以及 ignite-hadoop-1.4.0.jar 提供了一些依赖项，但现在我得到一个 NoClassDefFoundError 为了 org/apache/hadoop/mapred/JobConf 据我所知，这是一个不受欢迎的类。。。
我一直在遵循apacheignite网站上的说明，但这是我得到的。
作为辅助存储的hadoopigfssecondaryfilesystem需要哪些依赖关系？
2条答案
按热度按时间siv3szwd1#
如果您不想自己处理依赖关系管理—这是一件很难手动完成的事情—我建议您查看为软件堆栈提供编排和部署服务的项目。请查看ApacheBigtop（bigtop.apache.org），它为ApacheIgnite、hadoop、hdfs和其他类似的东西提供了预裁剪的linux包。您可以从我们的ci获取最新的夜间套餐http://ci.bigtop.apache.org/view/packages/job/bigtop-trunk-packages
f4t66c6m2#
问题似乎是ignite节点在类路径上没有hadoop库。要解决此问题，请尝试执行以下操作：
1） 使用ignite发行版的“hadoop accelerator”版本（如果您自己构建发行版，请使用-dignite.edition=hadoop）。
2） 如果您使用的是apache hadoop发行版，或者如果您使用的是其他发行版（hdp、cloudera、bigtop等），请为ignite进程设置hadoop\u home环境变量，确保/etc/default/hadoop文件存在并具有适当的内容。
或者，您可以手动添加必要的hadoop依赖项来点燃节点类路径：这些是文件modules/hadoop/pom.xml中列出的groupid“org.apache.hadoop”的依赖项。目前它们是：
hadoop注解
hadoop验证
hadoop通用
hadoop hdfs
hadoop mapreduce客户端公用
hadoop mapreduce客户端核心