向kafka connect添加连接器

jecbmhm3  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(449)

我使用的是融合的Kafkadocker图像,具体使用如下:https://github.com/confluentinc/cp-docker-images/tree/4.0.x/examples/cp-all-in-one
我想通过以下方式添加mysql连接器:
下载连接器版本1.5.46(https://dev.mysql.com/get/downloads/connector-j/mysql-connector-java-5.1.46.tar.gz)
用下载的连接器(mysql-connector-java-5.1.46-bin.jar)提供的jar装载卷
添加 CONNECT_PLUGIN_PATH 到docker撰写文件
基本上,从compose文件中推断出感兴趣的部分,这是一个重要的片段:

environment:
  <cut>
  CONNECT_PLUGIN_PATH: '/etc/kafka-connect/jars/'
volumes:
  - "./mysql_connector:/etc/kafka-connect/jars/"

jar正确地存在于docker容器中。
但是,当然,如果我尝试使用连接器,我在启用的连接器列表中找不到。如果我去控制中心,我会看到:

[{
    "class": "org.apache.kafka.connect.file.FileStreamSinkConnector",
    "type": "sink",
    "version": "1.0.0-cp1"
}, {
    "class": "org.apache.kafka.connect.file.FileStreamSourceConnector",
    "type": "source",
    "version": "1.0.0-cp1"
}]
f3temu5u

f3temu5u1#

插件路径需要包含到实际jdbc connect jar文件以及mysql jar的路径
如果您将mysql jar安装在这个路径下

/usr/share/java/kafka-connect-jdbc

然后设置 CONNECT_PLUGIN_PATH=/usr/share/java ,则可以访问所有绑定的连接器。jdbc连接器将能够读/写mysql数据。

相关问题