将自定义对象的数据集写入parquet

llycmphe  于 2021-05-18  发布在  Spark
关注(0)|答案(0)|浏览(164)

我有这样的代码
带有eventid-int,value-fload,factordim-map[string,string]的factors类现在我有了一个数据集[factors]
我想把这个写成Parquet地板
当我写这封信的时候

factorDataset.repartition(1).write.format("parquet").mode("overwrite").save(factorParquetFilePath)

当我在联机Parquet查看器中查看时,即使Map有多个条目,也只显示一个条目。我如何知道我的Parquet是正确的,是dataset.write只是一个write语句?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题