spark中嵌套类型和case类的模式演化

a5g8bdjr  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(220)

我们把数据储存在Parquet地板里。我们将其读入Dataframe并转换为case类。下面是一个模拟示例:

sqlContext.read.parquet(path)
      .as[House]

house是一个具有嵌套case类的复杂类型:

case class House(rooms: Seq[Room])
case class Room(area: Int)

我们的问题是要修改文件室中的字段:

case class Room(width: Int, length: Int)

我们有把面积转换成宽度和长度的逻辑。
使用相同的代码读取旧模式和新模式的推荐方法是什么?
我们正在考虑在读取时使用parquet的合并模式,检查生成的Dataframe以迁移属性,然后转换为case类。对于这样的嵌套类型,这似乎是不可能的。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题