在pyspark中使用parquet uuid logicaltype

rdlzhqv9 于 2021-07-14 发布在 Spark

关注(0)|答案(0)|浏览(206)

我使用的是pyspark，我想用其中的uuid读/写parquet数据，我更喜欢保存为parquet uuid logicaltype（这是一个16字节的固定数组）。
看到了吗https://github.com/apache/parquet-format/blob/master/logicaltypes.md
我怎么能在Pypark这样做？
我在想我是否应该试着 class pyspark.sql.types.DataType 并在 bytes 以及 uuid.UUID 但是，我不清楚spark会如何将其写入parquet中的uuid逻辑类型。

apache-spark pyspark parquet

来源：https://stackoverflow.com/questions/67188714/use-parquet-uuid-logicaltype-in-pyspark