当我按键对数据进行分区,然后在kafka中向主题添加一个新分区时会发生什么?现有记录会有变化吗?未来的数据将如何分区?
pxy2qtax1#
将新分区添加到特定主题时,现有数据的分区不会更改。Kafka不会试图重新分发现有的记录,这种修改只会对新记录产生影响。注意,默认情况下,kafka使用 hash(key) % noOfPartitions 以确保将具有相同密钥的记录添加到同一分区。具有不同密钥的数据将以循环方式添加到分区中。
hash(key) % noOfPartitions
1条答案
按热度按时间pxy2qtax1#
将新分区添加到特定主题时,现有数据的分区不会更改。Kafka不会试图重新分发现有的记录,这种修改只会对新记录产生影响。注意,默认情况下,kafka使用
hash(key) % noOfPartitions
以确保将具有相同密钥的记录添加到同一分区。具有不同密钥的数据将以循环方式添加到分区中。