关闭。这个问题需要更加突出重点。它目前不接受答案。**想改进这个问题吗？**通过编辑这篇文章更新这个问题，使它只关注一个问题。
5年前关门了。改进这个问题我是apacheflume新手，我正在尝试用apacheflume和hadoop执行poc，但是我不知道哪个版本适合这个练习。请帮忙。
jm81lzqq1#
我已经用几个版本的hadoop测试过flume，而且一直都很有效。官方的apacheflume文档没有在hdfs接收器中指定任何必需的hadoop版本，所以我猜它使用的hadoopapi没有随时间而改变（这非常好）。让我们做一个深入细节的练习：这个 HDFSWriterFactory 使用的类 HDFSEventSink.process() 要获取hdfs writer，可以提供： HDFSSequenceFile ：它使用 org.apache.hadoop.io.SequenceFile 以便写入数据。 HDFSDataStream ：它使用 org.apache.flume.serialization.EventSerializer . HDFSCompressedDataStream ：同样，它使用 org.apache.flume.serialization.EventSerializer .一方面， org.apache.hadoop.io.EventSerializer 它相当大，并且似乎维护了许多不推荐的方法来编写数据，因此可以解释与所有hadoop版本的兼容性。另一方面， org.apache.flume.serialization.EventSerializer 使用标准 java.io.OutputStream ，我认为这是相当稳定的。
HDFSWriterFactory
HDFSEventSink.process()
HDFSSequenceFile
org.apache.hadoop.io.SequenceFile
HDFSDataStream
org.apache.flume.serialization.EventSerializer
HDFSCompressedDataStream
org.apache.hadoop.io.EventSerializer
java.io.OutputStream
1条答案
按热度按时间jm81lzqq1#
我已经用几个版本的hadoop测试过flume，而且一直都很有效。官方的apacheflume文档没有在hdfs接收器中指定任何必需的hadoop版本，所以我猜它使用的hadoopapi没有随时间而改变（这非常好）。让我们做一个深入细节的练习：
这个
HDFSWriterFactory使用的类HDFSEventSink.process()要获取hdfs writer，可以提供：HDFSSequenceFile：它使用org.apache.hadoop.io.SequenceFile以便写入数据。HDFSDataStream：它使用org.apache.flume.serialization.EventSerializer.HDFSCompressedDataStream：同样，它使用org.apache.flume.serialization.EventSerializer.一方面，
org.apache.hadoop.io.EventSerializer它相当大，并且似乎维护了许多不推荐的方法来编写数据，因此可以解释与所有hadoop版本的兼容性。另一方面，org.apache.flume.serialization.EventSerializer使用标准java.io.OutputStream，我认为这是相当稳定的。