spark:以优化的方式将数据集转换为其他数据集

ao218c7q  于 2021-05-29  发布在  Spark
关注(0)|答案(0)|浏览(226)

我有个关于星火行动的问题。我正在使用spark,scala和mysql数据库。
我正在将表中的记录(例如table)读入数据集[table]。我想将dataset[table]转换为dataset[pqrtable],方法是对dataset[table]进行diff结构的聚合。
如果我迭代dataset[table],我必须对此调用collect方法,这会影响性能。
用优化的方法将数据集转换成其他结构类型的数据集还有哪些方法

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题