在Kafkaspark流处理时，在cassandra中获得了同一行的多个副本

unftdfkk 于 2021-06-08 发布在 Kafka

关注(0)|答案(0)|浏览(150)

我编写了一个kafka spark consumer，将来自kafka的消息写入cassandradb。Kafka主题中有24个分区。每5分钟发送2 mb消息，每批发送9000行。我在消息数据中添加了一个额外的系统时间戳列，并存储在cassandra中。我发现对于同一条消息，有多个条目具有不同的时间戳值和不同的键。这是否意味着我的Kafka线程工作不正常？请让我知道如果你有任何建议如何解决这个问题？
谢谢

cassandra apache-kafka apache-spark multithreading

来源：https://stackoverflow.com/questions/33017687/got-multiple-copies-of-same-row-in-cassandra-when-doing-kafka-spark-streaming