mq选择

yjghlzjz  于 2021-06-08  发布在  Kafka
关注(0)|答案(1)|浏览(206)

我有一个关于这些特殊要求的场景:
生产准备和稳定。
点对点连接,生产者在防火墙后面,消费者在云中。可以在两个生产者/消费者之间分割流量,但所有流量仍然必须通过单个wan连接,这可能是瓶颈。
高吞吐量—大约300 mb/秒(可能高达1gb!)。消息大小从~1kb到几MB不等。
保证传递是必须的—每个消息最终都必须到达使用者,因此我们需要开始将消息保存到磁盘,以防网络暂时中断或内存耗尽。
消息顺序并不重要,消息带有时间戳,可以在使用者处重新安排。
非常可取,但没有那么重要-应该同时在linux和windows上运行(jvm似乎是明显的选择)
我最近看了那么多mq,我没有任何实际操作经验。
我想最好问问有经验的人。
我们主要考虑kafka,但我不确定它是否最适合我们的用例,它似乎是为分布式部署和多主题\消费者\生产者定制的。另外,在windows上肯定还没有生产就绪。那么apache activemq或apollo\artemis呢?rabbitmq似乎不适合我们的性能要求。或者有一些java库没有中间人代理就具有我们需要的特性?
任何有助于理解这一混乱局面的人都将不胜感激。

esyap4oy

esyap4oy1#

如果有人遇到这个问题,我们最终还是选择了Kafka。它的性能令人印象深刻,到目前为止,它在linux上非常稳定。尚未尝试在生产部署中的windows上运行它。
更新12/3/2017:在linux上运行良好且非常稳定,但在windows上这在生产中不可用。由于文件句柄泄漏,旧数据从未被删除,相关jira自2013年起被忽略:https://issues.apache.org/jira/browse/kafka-1194

相关问题