如何创建基于udp的消息代理服务

iaqfqrcu  于 2021-06-03  发布在  Hadoop
关注(0)|答案(0)|浏览(198)

我想创建一个基于udp的消息代理服务。我有几十个源,每个源以不同的速率传输,其中一部分流式传输,另一部分成批转发数据。我希望所有的数据都能到达一个目的地——一个ClouderaHadoop集群(使用Redhat6.6OS),它将使用kafka/flume作为消息代理。
我需要创建中间消息代理服务。它必须是健壮的和容错的。它可以使用任何协议从源接收数据,但必须使用udp(或任何单向协议,不允许ack/syn或任何其他响应)转发消息。因此,它必须使用推送机制,并且hadoop集群不能拉取数据。据我所知,kafka和flume使用tcp转发消息。我找到了“udp-kafka桥”和“flume-udp源”,但我没有任何使用它们的经验。
消息代理必须具有健壮性和容错性。它必须能够处理不断变化的传入数据速率,而且最好是接近实时的代理。
你对我应该使用的工具/架构有什么建议吗?
谢谢您!

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题