我正在尝试创建一个可伸缩的管道，它将从kafka获取消息并将它们发送到多个http端点。到目前为止，我尝试的是一个（普通的kafka）消费者，它使用kafka主题的消息并使用akkahttp将它们异步发送到端点。所以我有一个Kafka连接器。问题：考虑到消息的目的地不是静态的，并且每个消息的目的地可能不同，是否有必要（也可能）将应用程序重写为kafka连接器。
mctunoxg1#
不是静态的，每个消息可能不同没有理由不尝试编写一个sinktask来解析和路由 SinkRecord 对象转换为不同的http路由。您可能得到的唯一好处是，您正在抽象掉普通的kafkaconsumerapi也许可以用Kafka连接休息作为起点
SinkRecord
jfgube3f2#
在我看来，答案是否定的。除了您提到的各种目的地问题外，消息的格式化和显示是非常特定于应用程序的，不能委托给通用连接器。
2条答案
按热度按时间mctunoxg1#
不是静态的，每个消息可能不同
没有理由不尝试编写一个sinktask来解析和路由
SinkRecord对象转换为不同的http路由。您可能得到的唯一好处是，您正在抽象掉普通的kafkaconsumerapi
也许可以用Kafka连接休息作为起点
jfgube3f2#
在我看来，答案是否定的。除了您提到的各种目的地问题外，消息的格式化和显示是非常特定于应用程序的，不能委托给通用连接器。