在flume中设置hdfs接收器需要什么hadoopjar依赖关系?

wz1wpwve  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(188)

我使用的是来自probablyfine/flume的flume的docker图像。
我试图配置一个hdfs接收器,我得到了这个关于依赖性的错误。google搜索结果显示我需要包含hadooplibs,但是很多结果都是hadoop1.0有一个hadoop-core-1.0.jar时的旧结果,我可以将它包含在docker图像中。
我试图直接将hadoop2.9bin下载中的jar包含在/share/hadoop/common/中。但是在我的flume\u类路径中包含这些jar是不起作用的。

FLUME_CLASSPATH=/var/tmp/hadoop/common/

我也试过升级一级,只做/hadoop/目录。但以前都是一样的错误:

2018-01-22 21:49:21,643 (conf-file-poller-0) [ERROR 
- org.apache.flume.node.Poll
ingPropertiesFileConfigurationProvider$FileWatcherRunnable.run(PollingProperties
FileConfigurationProvider.java:146)] Failed to start agent because dependencies
were not found in classpath. Error follows.
java.lanat org.apache.flume.sink.hdfs.HDFSEventSink.configure(HDFSEventSink.java
:235)
        at org.apache.flume.node.AbstractConfigurationProvider.loadSinks(Abstrac
tConfiguat org.apache.flume.node.AbstractConfigurationProvider.getConfiguration(
Abstractat org.apache.flume.node.PollingPropertiesFileConfigurationProvider$File
WatcherRat java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:51
1)      at java.util.concurrent.FutureTask.runAndReset(FutureTask.java:308)
        at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.
run(ScheduledThreadPoolExecutor.java:294)va:180)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor
.java:624)
        at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
Caused bat java.lang.ClassLoader.loadClass(ClassLoader.java:424)o.SequenceFile$C
ompressiat sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:338)
        ... 12 moreg.ClassLoader.loadClass(ClassLoader.java:357)

在docker映像中设置hdfs接收器需要哪些特定的jar依赖文件?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题