与netflix conductor一起使用kafka

yws3nbqq  于 2021-06-08  发布在  Kafka
关注(0)|答案(1)|浏览(469)

我想知道是否有一个简单的方法连接Kafka和netflix导体(而不是sqs)?目前,它似乎只适用于amazonsqs。而且,似乎一个任务只能做一个动作。有没有办法按任务执行多个操作?
提前谢谢,

ecbunoof

ecbunoof1#

要向netflix conductor添加kafka支持,您需要
在contribs中创建扩展abstractmodule的模块(在server.properties中针对conductor.additional.modules属性添加一个条目)
为Kafka生产商和消费者运营实施Observalequeue。
像sqs实现一样实现eventqueueprovider
在server.properties中添加kafka初始化的属性

kafka.producer.bootstrap.servers=host1:port1;host2:port2
kafka.producer.key.serializer=org.apache.kafka.common.serialization.StringSerializer
kafka.producer.value.serializer=org.apache.kafka.common.serialization.StringSerializer
kafka.consumer.bootstrap.servers=host1:port1;host2:port2
kafka.consumer.key.deserializer=org.apache.kafka.common.serialization.StringDeserializer
kafka.consumer.value.deserializer=org.apache.kafka.common.serialization.StringDeserializer

通过更新contribs模块的build.gradle,将kafka库支持添加到项目中。
请参阅下面的pr链接以了解实现(由preeth gopalakrishnan编写)
https://github.com/netflix/conductor/pull/672
(如果找不到pr,则假定它已合并到主节点)

相关问题