将udp消息推送到kafka主题

j1dl9f46 于 2021-06-07 发布在 Kafka

关注(0)|答案(2)|浏览(977)

kafka生产者是否可以监听某些端口（udp/tcp），然后将数据发送到指定的主题。
我是否需要开发一个单独的守护进程来监听端口，然后将数据发送到kafka主题已经有一些github项目可用）。只是想确保我们已经找到了一种方法，使它变得更加健壮和易于扩展。基本上，将udp包转发到kafka中
问候苏尼尔

apache-kafka kafka-producer-api

来源：https://stackoverflow.com/questions/37436177/pushing-udp-messages-to-kafka-topic

2条答案

按热度按时间

7kqas0il1#

我更喜欢使用rsyslogd:/etc/rsyslog.d/kafka.conf

module(load="imudp")
module(load="omkafka")

template(name="kafka_msg" type="string" string="%msg%")

ruleset(name="kafka") {
  :msg, !contains, "timestamp" ~
  action (
    type="omkafka"
    topic="nginx-accesslog"
    broker=["192.168.1.1:9092", "192.168.1.2:9092", "192.168.1.3:9092"]
    template="kafka_msg"
    confParam=["compression.codec=gzip"]
    partitions.auto="on"
  )
}

input(type="imudp" port="10514" Ruleset="kafka")

赞(0）回复(0）举报 2021-06-07

nue99wik2#

正如在评论中提到的，是的，这是可能的-通过谷歌搜索可以找到几个解决方案-这里有一个项目，让你做你想做的-开箱即用：
https://github.com/agaoglu/udp-kafka-bridge

赞(0）回复(0）举报 2021-06-07