我正在使用合流jdbc-kafka连接器将消息发布到主题中。源连接器将在每次轮询时向topic发送数据和模式。我想检索这个模式。有可能吗？怎样？有人能推荐我吗我的意图是基于kafka connector在poll上构建的模式创建ksql流或表。
xyhw6mcr1#
最好的方法是使用avro，在avro中，模式被分开存储，并由kafkaconnect和ksql自动使用。您可以通过配置kafka connect使用avroconverter来使用avro。在kafka connect worker配置集中：
key.converter=io.confluent.connect.avro.AvroConverter key.converter.schema.registry.url=http://schema-registry:8081
（更新 schema-registry 到运行架构注册表的主机名）在ksql中，您只需使用
schema-registry
CREATE STREAM my_stream WITH (KAFKA_TOPIC='source_topic', VALUE_FORMAT='AVRO');
您不需要在这里指定模式本身，因为ksql从模式注册表获取它。您可以在这里阅读更多关于转换器和串行器的信息。免责声明：我为confluent工作，并撰写了引用的博客文章。
1条答案
按热度按时间xyhw6mcr1#
最好的方法是使用avro，在avro中，模式被分开存储，并由kafkaconnect和ksql自动使用。
您可以通过配置kafka connect使用avroconverter来使用avro。在kafka connect worker配置集中：
（更新
schema-registry到运行架构注册表的主机名）在ksql中，您只需使用
您不需要在这里指定模式本身，因为ksql从模式注册表获取它。
您可以在这里阅读更多关于转换器和串行器的信息。
免责声明：我为confluent工作，并撰写了引用的博客文章。