如何使用java更快地写入parquet?

oyxsuwqo  于 2021-07-12  发布在  Java
关注(0)|答案(0)|浏览(191)

我想写一本书 Dataset 对象作为使用java的Parquet文件。
我按照这个例子来做,但速度慢得离谱。
大约需要1.5分钟才能写入大约10mb的数据,因此当我要写入数百mb的数据时,它的扩展性不好。我做了一些cpu评测,发现99%的时间来自 ParquetWriter.write() 方法。
我试着增加页面大小和块大小 ParquetWriter 但这似乎对表演没有任何影响。有没有办法让这个过程更快,或者只是Parquet地板库的一个限制?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题