apache spark delta lake优化命令的scalaapi

soat7uwm  于 2021-05-16  发布在  Spark
关注(0)|答案(0)|浏览(371)

databricks文档说,您可以通过执行以下操作来更改delta表的zordering:

spark.read.table(connRandom)
     .write.format("delta").saveAsTable(connZorder)

sql(s"OPTIMIZE $connZorder ZORDER BY (src_ip, src_port, dst_ip, dst_port)")

问题是scala和sqlapi之间的切换非常糟糕。我想做的是:

spark.read.table(connRandom)
     .write.format("delta").saveAsTable(connZorder)
     .optimize.zorderBy("src_ip", "src_port", "dst_ip", "dst_port")

但我找不到任何文件表明这是可能的。
delta-lake优化命令有scalaapi吗?如果是这样,我如何在scala中复制上述逻辑?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题