我使用的是带有spark 2.4.3和scala 2.11的azure databricks 5.5 lts。几乎每个到databricks集群的请求都会出现以下错误日志
ERROR RetryingHMSHandler: NoSuchObjectException(message:There is no database named global_temp)
at org.apache.hadoop.hive.metastore.ObjectStore.getMDatabase(ObjectStore.java:487)
at org.apache.hadoop.hive.metastore.ObjectStore.getDatabase(ObjectStore.java:498)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
虽然这不会影响我们所做的工作的最终结果,但我们的日志中总是充斥着这一点,而且不太容易浏览。我已经尝试通过将以下属性设置为driver和executor来关闭它
log4j.level.org.apache.hadoop.hive.metastore.RetryingHMSHandler=OFF
后来才意识到类retryinghmshandler实际上使用的是slf4j记录器,有没有一种优雅的方法来克服这个问题?
暂无答案!
目前还没有任何答案,快来回答吧!