canal 如何修改消费位点？

qnzebej0 于 2022-10-24 发布在其他

关注(0)|答案(6)|浏览(679)

Question

阿里云过期的binlog在oss上，在meta.dat中修改了journalName和position，指向了oss里的binlog文件

启动canal deployer后，日志显示重置到了指定的消费点，但是开启client程序后，deployer的日志中显示位点为最新的位置，
怎么让client从指定的位点开始消费呢？

canal

来源：https://github.com/alibaba/canal/issues/3767

6条答案

按热度按时间

t30tvxxf1#

这个要看你的部署模式，如果是单机部署，删除instance文件加下非instance.properties的所有文件，重启canal，就会从你配置的点位开始消费了。

如果是集群，那么需要去zookeeper中删除游标，一般目录是 ls /otter/canal/destinations/你的instance文件夹名称//1001/cursor

删除这个目录就行即 delete /otter/canal/destinations/你的instance文件夹名称//1001/cursor 然后重启canal

赞(0）回复(0）举报 2022-10-24

uurv41yg2#

这个要看你的部署模式，如果是单机部署，删除instance文件加下非instance.properties的所有文件，重启canal，就会从你配置的点位开始消费了。

如果是集群，那么需要去zookeeper中删除游标，一般目录是 ls /otter/canal/destinations/你的instance文件夹名称//1001/cursor

删除这个目录就行即 delete /otter/canal/destinations/你的instance文件夹名称//1001/cursor 然后重启canal

我用的1.4，单机消费，配置了按时间戳定位位点
启动后报binlog下载失败的错误，但从日志里看到连接是OK的：

赞(0）回复(0）举报 2022-10-24

jmo0nnb33#

看你日志是正常的。对以上操作我补充一点，需要先停止canal服务，再进行操作，因为服务运行过程中可能再次创建游标位点…

------------------ 原始邮件 ------------------ 发件人:***@***.***>; 发送时间: 2021年9月9日(星期四) 中午11:28 收件人:***@***.***>; 抄送:***@***.***>;***@***.***>; 主题: Re: [alibaba/canal] 如何修改消费位点？ (#3767) 这个要看你的部署模式，如果是单机部署，删除instance文件加下非instance.properties的所有文件，重启canal，就会从你配置的点位开始消费了。如果是集群，那么需要去zookeeper中删除游标，一般目录是 ls /otter/canal/destinations/你的instance文件夹名称//1001/cursor 删除这个目录就行即 delete /otter/canal/destinations/你的instance文件夹名称//1001/cursor 然后重启canal 我用的1.4，单机消费，配置了按时间戳定位位点启动后报binlog下载失败的错误，但从日志里看到连接是OK的： — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

赞(0）回复(0）举报 2022-10-24

6tr1vspr4#

下载失败检查binlog在mysql中是否存在， mysql默认是有binlog过期策略的

赞(0）回复(0）举报 2022-10-24

hi3rlvi25#

最后解决了，是权限问题，AK账号没有下载oss备份权限，代码里获取下载链接无效，解析失败报错

赞(0）回复(0）举报 2022-10-24

6mw9ycah6#

在meta.dat中修改了journalName和position，指向了oss里的binlog文件

如何添加权限

赞(0）回复(0）举报 2022-10-24