aws如何将scala快速保存到athena表的dyanamicframe

n7taea2i  于 2021-06-26  发布在  Hive
关注(0)|答案(0)|浏览(165)

我必须用最短的时间把数据保存到雅典娜。
我成功地将aws胶水数据即dynamicframe保存到athena表中。但对于17gb的表,大约需要19-20分钟。如果dpu使用的数量是100,那么我认为时间太长了。目前我使用的方法是:

getCatalogSink( database : String,tableName : String,redshiftTmpDir : String = "",transformationContext : String = "") : DataSink

有没有办法加快进程?或者当前所需的时间可以吗?。
提前谢谢。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题