google云数据流反序列化avro

oprakyz7  于 2021-06-08  发布在  Kafka
关注(0)|答案(0)|浏览(204)

我构建了下面的流程。
数据生产者->Kafka代理->Kafka连接->发布/订阅->数据流->谷歌云存储。
kafka connect的key,value converter的默认配置是avro convertor。当我在gcp上创建数据流时,我使用了“gs://dataflow templates/latest/cloud\u pubsub\u to\u gcs\u text”。由于它不支持avro转换,所以序列化数据可以在云存储上看到。这意味着我看不到正确的文本数据。
如何反序列化通过pub/sub传入的数据。
我只想在google云存储上看到文本格式的数据。
--我已经在测试中使用了'pubsetoavro.java'。而且他们仍然无法将文本数据推送到云存储。这是否意味着我应该定制云数据流的管道模板?如果是,我该怎么做?
pubText.java文件:https://github.com/googlecloudplatform/dataflowtemplates/blob/master/src/main/java/com/google/cloud/teleport/templates/pubsubtotext.java
pubsubtoavro.java版本:https://github.com/googlecloudplatform/dataflowtemplates/blob/master/src/main/java/com/google/cloud/teleport/templates/pubsubtoavro.java

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题