我们把数据储存在Parquet地板里。我们将其读入Dataframe并转换为case类。下面是一个模拟示例:
sqlContext.read.parquet(path)
.as[House]
house是一个具有嵌套case类的复杂类型:
case class House(rooms: Seq[Room])
case class Room(area: Int)
我们的问题是要修改文件室中的字段:
case class Room(width: Int, length: Int)
我们有把面积转换成宽度和长度的逻辑。
使用相同的代码读取旧模式和新模式的推荐方法是什么?
我们正在考虑在读取时使用parquet的合并模式,检查生成的Dataframe以迁移属性,然后转换为case类。对于这样的嵌套类型,这似乎是不可能的。
暂无答案!
目前还没有任何答案,快来回答吧!