zeppelin在加载带有“找不到活动sparksession”的deltatable后失败

dced5bon  于 2021-07-14  发布在  Spark
关注(0)|答案(0)|浏览(181)

在zeppelin中尝试使用delta lake表执行重复查询时遇到了一个问题。此代码段第一次运行时没有任何问题:

import io.delta.tables._
val deltaTable = DeltaTable.forPath("s3://bucket/path")
deltaTable.toDF.show()

但当我再次尝试运行它时,它失败了,出现以下错误:

java.lang.IllegalArgumentException: Could not find active SparkSession
  at io.delta.tables.DeltaTable$$anonfun$1.apply(DeltaTable.scala:620)
  at io.delta.tables.DeltaTable$$anonfun$1.apply(DeltaTable.scala:620)
  at scala.Option.getOrElse(Option.scala:121)
  at io.delta.tables.DeltaTable$.forPath(DeltaTable.scala:619)
  ... 51 elided

我可以重新启动spark解释器并再次运行查询,但这对开发是一个巨大的障碍。有人知道为什么会发生这种情况吗?是否有一种解决方法不涉及每次运行新查询时重新启动解释器?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题