需要使用kakfa connect将小json消息从kafka移动到hdfs,但如果不是完全免费的,也不需要使用合流libs

q7solyqu  于 2021-07-13  发布在  Hadoop
关注(0)|答案(1)|浏览(256)

我想使用kakfaconnect将json消息从kafka移动到hdfs,然后再移动到impala,只使用开源libs。
我试图了解我是否可以为kakfa connect使用汇合汇汇库,而不需要使用整个汇合分布。
是否有其他和/或更好的选择来实现这一点?

2uluyalo

2uluyalo1#

Kafka连接hdfs 2Flume可在合流社区许可证下使用。它是apachekafka的插件;您不必运行confluent平台来使用它。

相关问题