Parquet与recordio

pod7payv  于 2021-07-13  发布在  Hadoop
关注(0)|答案(0)|浏览(231)

这些天我在学习aws。所以,如果这个问题太基本,我很抱歉。我读过一大堆关于Parquet胜过csv的好处的开放式和封闭式问题(回答:Parquet格式与其他格式相比有哪些优点和缺点?),以及recordio protobuf在文件与管道模式方面的优势(例如,未回答的recordio吸引人的原因)。不过,我还没有看到recordio protobuf和parquet之间的任何比较。
以下是我从研究中得到的信息:
parquet是一种列格式,但recordio protobuf用于序列化。
并非所有sagemaker算法都支持Parquet地板。大多数sagemaker算法在recordio protobuf格式下工作得最好(https://docs.aws.amazon.com/sagemaker/latest/dg/cdf-training.html)
除了以上两个不同点,使用Parquet和录音格式的优缺点是什么?此外,搜索“parquet vs.recordio”时,我的谷歌搜索结果为零,这让我觉得我在拿苹果和橙子做比较。
如果有任何想法,我将不胜感激。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题