使用文件通道在Flume中耗尽可用空间

vnzz0bqm  于 2021-06-04  发布在  Flume
关注(0)|答案(2)|浏览(393)

我在flume上工作,spool目录作为源,hdfs作为接收器,文件作为通道。执行flume作业时。我在讨论这个问题。内存通道工作正常。但我们需要使用文件通道实现相同的功能。使用文件频道我得到下面的问题。
我已经在flume.env.sh文件中将jvm内存大小配置为3gb。请让我知道我们需要做的任何其他设置。
2016年1月20日20:05:27099错误[sinkrunner pollingrunner defaultsinkprocessor](org.apache.flume.sinkrunner$pollingrunner。run:160)-无法传递事件。例外情况随之而来。java.lang.illegalstateexception:通道关闭[channel=artiva内存通道]。由于java.io.ioexception:可用空间耗尽,只剩下427515904字节,需要524288000字节

iaqfqrcu

iaqfqrcu1#

文件通道与内存无关,但与hdd(磁盘)有关。这样的通道使用文件系统来存储数据。因此,请检查在写入检查点文件和数据文件的磁盘中有多少可用空间(请查看filechannel参数)。

ep6jt1vc

ep6jt1vc2#

错误消息是关于内存通道的。请参阅“channel closed[channel=artiva memory channel]”。
检查分配给hdfs接收器的信道。它应该在flume.conf文件中,一个类似于:agent\u name.sinks.hdfs\u sink\u name.channel的属性

相关问题