假设我有一个队列在听 Kafka 包含实时消息。我还有一个“worker”，它从队列中获取消息并对其执行更新 Elasticsearch . 当我通过添加更多“worker”示例来扩展我的项目时，如何保持消息的顺序？如何避免一个“worker”示例从队列中获取稍后的消息，但完成更新到 Elasticsearch 早期的？
Kafka
Elasticsearch
ql3eal8s1#
这是您必须在并行处理和排序之间做出的选择。主题必须有一个分区才能保持数据的顺序。因此，在worker中最多可以有1个任务，其他任务将被取消分配。
1条答案
按热度按时间ql3eal8s1#
这是您必须在并行处理和排序之间做出的选择。
主题必须有一个分区才能保持数据的顺序。因此，在worker中最多可以有1个任务，其他任务将被取消分配。