将包含数据的新表添加到现有的debezium连接器

kiayqfof  于 2021-06-04  发布在  Kafka
关注(0)|答案(0)|浏览(707)

目标:
需要向现有的debezium mysql connector 1.1.1.final版本添加一个新表。使用更新的配置(table.whitelist中的新表)重新启动连接器后,表中的数据应填充到主题中。
问题:
没有明确的策略来添加一个新表,该表将在拍摄初始快照后添加到kafka及其数据中(连接器的早期版本正在工作)。我们正在寻找类似于snapshot.select.statement.overrides的内容,仅适用于工作连接器。当快照已经创建并且连接器使用新表重新启动时,snapshot.select.statement.overrides不起作用。
可能的解决方案:
为应使用数据(snapshot.mode=initial)初始化的表创建并运行新连接器。缺点:每个版本都可能包含一个新的连接器。

为表创建迁移连接器(v2)(configs snapshot.mode=initial and new database.history.kafka.topic)
快照完成后删除连接器v2
删除上一个连接器(v1)的database.history.kafka.topic
使用连接器(v2)中的表更新连接器(v1)-将它们放入table.whitelist
将snapshot.mode更改为schema\u only\u recovery并启动连接器(v1)
问题:
哪条路是官方的?也许我错过了什么,还有比第二种更简单的方法吗?
upd:per@matar comment and some investigation,看起来不需要删除database.history.kafka.topic,因为在默认配置中,它仍然从db收集所有ddl。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题