如何使kafka spark kafkautils.createdirectstream函数从本地注册表缓存中使用,而不是将请求发送到架构注册表

ercv8c1e  于 2021-07-09  发布在  Spark
关注(0)|答案(0)|浏览(129)

所有人。突出一个简单的问题,是否有人碰巧在使用方面
kafkautils.createdirectstream()函数,我为设置“schema.registry.url”做了配置,间隔是5秒,但是我发现每次轮询,它都会拉schema.registry.url来获取avro schema,而不是从本地获取。有没有人碰巧知道有没有一种配置可以让我在开始时只调用一次,然后缓存在本地服务器上。下一次,从本地而不是远程获取它。
我使用的maven依赖项是:compile group:'org.apache.spark',name:'spark-streaming-kafka-0-102.11',version:'2.4.7'compile group:'org.apache.avro',name:'avro',version:'1.9.2'compile group:'io.confluent',name:'kafka avro serializer',version:'6.1.0'
谢谢您

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题