每当databricks笔记本运行时,我都会尝试向delta表中插入1条记录,但这大约需要70秒。我把开始时间作为变量传递。
val batchDf= Seq((1000, 40, start_time, null, null, status)).toDF("Key", "RunId", "Start_Time", "End_Time", "Duration", "In-progress")
batchDf.write.format("delta").mode("append").saveAsTable("t_audit")
你知道为什么把一条记录加载到delta表要花这么长时间吗?我希望这能在5秒内完成。
1条答案
按热度按时间omjgkv6w1#
与我在过去30年中使用的任何东西相比,databricks的速度都非常慢,但在您的案例中,它可能与自动优化有关