从Parquet地板读取时间戳

monwx1rj  于 2021-06-02  发布在  Hadoop
关注(0)|答案(0)|浏览(292)

嗨,我试图读取一个时间戳字段(datetime)从Parquet文件使用一个案件类(在typedpipe)。
Parquet文件是从 Impala 表。
parquet tools lib提供如下类型
可选int96
有人知道字段类型应该是什么吗?
如果我使用选项[long]

case class Columns(request_id:Option[String],datetime: Option[Long])
 val input = TypedParquet[Columns](input1)

然后给出下面的错误
原因:org.apache.parquet.io.parquetdecodingexception:请求的架构与文件架构不兼容。不兼容类型:可选int64 datetime!=可选int96日期时间
这是有道理的。
如果我尝试使用bigint

case class Columns(request_id:Option[String],datetime: Option[Bigint])
 val input = TypedParquet[Columns](input1)

它甚至不编译它给出下面的错误
parquetreadsupport-找不到参数的隐式值

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题