databricks delta表加载需要很长时间才能加载1个recod

rsl1atfo  于 2021-07-14  发布在  Spark
关注(0)|答案(1)|浏览(300)

每当databricks笔记本运行时,我都会尝试向delta表中插入1条记录,但这大约需要70秒。我把开始时间作为变量传递。

val batchDf= Seq((1000, 40, start_time, null, null, status)).toDF("Key", "RunId", "Start_Time", "End_Time", "Duration", "In-progress")

batchDf.write.format("delta").mode("append").saveAsTable("t_audit")

你知道为什么把一条记录加载到delta表要花这么长时间吗?我希望这能在5秒内完成。

omjgkv6w

omjgkv6w1#

与我在过去30年中使用的任何东西相比,databricks的速度都非常慢,但在您的案例中,它可能与自动优化有关

相关问题