flume生成的文件

j1dl9f46  于 2021-06-04  发布在  Flume
关注(0)|答案(1)|浏览(300)

我有几个问题
我有Flume配置说明在这里的答案
flume正在生成名为flume-data.millished的文件。我可以指定一个自定义名称吗?我怎样才能改变它?
有了这个配置,我可以加载一个1.5mb文件5次,但当我第6次运行它时,我得到了一个outofmemory错误。如何解决此问题?
谢谢

smtd7mpg

smtd7mpg1#

flume正在生成一个文件,flume-data.millished是文件名,我可以有一个自定义名称吗?我怎样才能改变它?
是的,您可以使用自定义名称作为正在生成的文件的前缀或后缀。
hdfs.fileprefix:flumedata:flume在hdfs目录中创建的文件的前缀名称
hdfs.filesuffix–要附加到文件的后缀(例如.avro-注意:句点不会自动添加)
有关更多详细信息,请参阅《flume用户指南》中的hdfs接收器。
有了这个配置,我可以加载一个1.5mb文件5次,但当我第6次运行它时,我得到了一个outofmemory错误。如何解决这个问题。
内存不足错误,因为您使用的内存通道容量不足。最好使用文件通道。

相关问题