如何加快nifi流日志到kafka的速度

vu8f3i0k  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(365)

我是新来的 nifi ,正在尝试读取文件并推送到 kafka . 从一些基本的阅读,我能做到这一点与以下。

有了这个流,我可以达到每秒50万条记录,每条记录的大小为100kb。我想赶上200万/秒的速度。数据来源 ListFile 以及 FetchFile 处理器通过 slitText 处理器很棒。但是,在 PublishKafka .
很明显,Kafka的出版成了瓶颈。如何提高此性能?我应该在Kafka结束或与尼菲出版Kafka结束调什么。
有人能帮我吗。谢谢

mwg9r5ms

mwg9r5ms1#

你可以试着用 Record Oriented 处理器,即 PublishKafkaRecord_1.0 处理器。
因此,您的流程将是:

1.ListFile
2.FetchFile
3.PublishKafkaRecord_1.0 //Configure with more than one concurrent task

通过使用这个流,我们不会使用 SplitText 处理器和定义 RecordReader/Writer 中的控制器服务 PublishKafkaRecord 处理器。 In addition 也可以使用 Remote Process Groups 流量:

1.ListFile
2.RemoteProcessGroup
3.FetchFile
4.PublishKafkaRecord_1.0 //In scheduling tab keep more than one concurrent task

有关设计/配置上述流程的更多详细信息,请参阅此链接。
从nifi-1.8版本开始,我们不需要使用 RemoteProcessGroup (分配负载)因为我们可以配置连接(关系)来分配负载平衡。
请参阅此链接和nifi-5516链接以了解有关这些的更多详细信息 new additions 在nifi-1.8版本中。

相关问题