mysql 自上次偏移量提交以来,任务没有生成任何记录,或者所有记录都已被过滤掉

9o685dep  于 5个月前  发布在  Mysql
关注(0)|答案(1)|浏览(77)

我正在本地机器上安装jdbc Kafka连接器。我一步一步地完成了安装:

➜  bin ./zookeeper-server-start.sh ../config/zookeeper.properties
➜  bin ./kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092
➜  bin  ./connect-distributed.sh ../config/connect-distributed.properties

字符串
并成功运行Kafka服务器。
最后使用curl命令注册jdbc Kafka连接器:

curl -X POST http://localhost:8083/connectors -H "Content-Type: application/json" -d '{
        "name": "jdbc_source_mysql_01",
        "config": {
                "connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector",
                "connection.url": "jdbc:mysql://mysql:3306/neo_table”,
                "connection.user": “root”,
                "connection.password": "xxx",
                "topic.prefix": "saif-test",
                "mode":"bulk",
                "poll.interval.ms" : 3600000
                }
        }'


最后跑了消费者:

➜  bin sh kafka-console-consumer.sh --topic saif-test  --bootstrap-server localhost:9092


但是消费者处于空闲状态,没有打印任何消息,而Kafka服务器正在打印错误消息:
[2022-04-06 08:53:43,060]信息[jdbc_source_mysql_01|任务-0| offsets] WorkerSourceTask{id=jdbc_source_mysql_01-0}自上次偏移提交以来,任务没有生成任何记录,或者由于转换或转换错误,每条记录都已被转换过滤掉或删除。(org.apache.Kafka.connect.runtime.WorkerSourceTask:484)

➜  bin sh kafka-topics.sh --bootstrap-server=localhost:9092 --list
__consumer_offsets
connect-configs
connect-offsets
connect-status
neo_table
neo_tableneo_table
neo_tablesys_config
quickstart-events
saif-test
saif-testneo_table
saif-testsys_config

kh212irz

kh212irz1#

我在尝试从一个Strimzi集群到另一个集群运行Kafkafka Maker2时遇到了这个一般性错误。
我的问题通过在源集群上提供更多的“描述”权限来解决,以允许描述所有主题,而不仅仅是要镜像的主题。错误在源中,在我的情况下是Kafka集群代理日志。

相关问题