从rdd到Dataframe的转换有多贵?

vjrehmav  于 2021-05-29  发布在  Spark
关注(0)|答案(0)|浏览(391)

在使用scala的spark中,有不同的方法来创建dataframe,但是假设我们有一个rdd,对于dataframe的类似sql的支持,我需要将rdd转换为df,这个操作有多昂贵?
这个操作可以优化吗?我尝试将一个包含5000个项目的rdd[(string,string,string])转换为df,在我的12核cpu、16gbram和ssd上转换大约需要600-700ms。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题