停止hive重试hmshandler登录到databricks集群

vatpfxk5  于 2021-05-24  发布在  Spark
关注(0)|答案(0)|浏览(414)

我使用的是带有spark 2.4.3和scala 2.11的azure databricks 5.5 lts。几乎每个到databricks集群的请求都会出现以下错误日志

ERROR RetryingHMSHandler: NoSuchObjectException(message:There is no database named global_temp)
at org.apache.hadoop.hive.metastore.ObjectStore.getMDatabase(ObjectStore.java:487)
at org.apache.hadoop.hive.metastore.ObjectStore.getDatabase(ObjectStore.java:498)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)

虽然这不会影响我们所做的工作的最终结果,但我们的日志中总是充斥着这一点,而且不太容易浏览。我已经尝试通过将以下属性设置为driver和executor来关闭它

log4j.level.org.apache.hadoop.hive.metastore.RetryingHMSHandler=OFF

后来才意识到类retryinghmshandler实际上使用的是slf4j记录器,有没有一种优雅的方法来克服这个问题?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题