我正在本地机器上安装jdbc Kafka连接器。我一步一步地完成了安装:
➜ bin ./zookeeper-server-start.sh ../config/zookeeper.properties
➜ bin ./kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092
➜ bin ./connect-distributed.sh ../config/connect-distributed.properties
字符串
并成功运行Kafka服务器。
最后使用curl命令注册jdbc Kafka连接器:
curl -X POST http://localhost:8083/connectors -H "Content-Type: application/json" -d '{
"name": "jdbc_source_mysql_01",
"config": {
"connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector",
"connection.url": "jdbc:mysql://mysql:3306/neo_table”,
"connection.user": “root”,
"connection.password": "xxx",
"topic.prefix": "saif-test",
"mode":"bulk",
"poll.interval.ms" : 3600000
}
}'
型
最后跑了消费者:
➜ bin sh kafka-console-consumer.sh --topic saif-test --bootstrap-server localhost:9092
型
但是消费者处于空闲状态,没有打印任何消息,而Kafka服务器正在打印错误消息:
[2022-04-06 08:53:43,060]信息[jdbc_source_mysql_01|任务-0| offsets] WorkerSourceTask{id=jdbc_source_mysql_01-0}自上次偏移提交以来,任务没有生成任何记录,或者由于转换或转换错误,每条记录都已被转换过滤掉或删除。(org.apache.Kafka.connect.runtime.WorkerSourceTask:484)
➜ bin sh kafka-topics.sh --bootstrap-server=localhost:9092 --list
__consumer_offsets
connect-configs
connect-offsets
connect-status
neo_table
neo_tableneo_table
neo_tablesys_config
quickstart-events
saif-test
saif-testneo_table
saif-testsys_config
型
1条答案
按热度按时间kh212irz1#
我在尝试从一个Strimzi集群到另一个集群运行Kafkafka Maker2时遇到了这个一般性错误。
我的问题通过在源集群上提供更多的“描述”权限来解决,以允许描述所有主题,而不仅仅是要镜像的主题。错误在源中,在我的情况下是Kafka集群代理日志。