是否可以在Spark中使用自定义的压缩算法来读取和写入Parquet文件？理想情况下，其配置如下：
sqlContext.setConf("spark.sql.parquet.compression.codec", "myalgo")
字符串
xfb7svmp1#
否，如文档（此处指2.2.0版）中所述，唯一可接受的值为
uncompressed
snappy
gzip
lzo
其中snappy是默认值。这是由于Parquet本身的限制，它只使用一组有限的压缩算法，如此枚举中所列（对版本1.5.0有效）。
1条答案
按热度按时间xfb7svmp1#
否，如文档（此处指2.2.0版）中所述，唯一可接受的值为
uncompressed，snappy，gzip和lzo个其中
snappy是默认值。这是由于Parquet本身的限制，它只使用一组有限的压缩算法，如此枚举中所列（对版本1.5.0有效）。