将Parquet文件从配置单元复制到vertica的时间戳问题

pobjuy32  于 2021-06-25  发布在  Hive
关注(0)|答案(1)|浏览(339)

我们有一个外部配置单元表,在s3位置有Parquet文件,如下所示。

我们的emr在pdt/pst时区运行。我们使用vertica copy命令将此数据从配置单元复制到vertica。我们的vertica集群也在pdt/pst中。
11月3日(时间变为pst),当emr为上述数据运行copy命令时,时间戳在vertica中滞后一小时,如下所示

hive和vertica中用于日期字段的数据类型是“timestamp”。
谁能解释一下为什么会发生这个问题,以及如何解决它?

pftdvrlh

pftdvrlh1#

我怀疑Hive TIMESTAMP ,暗示 TIMESTAMP WITH TIMEZONE . 我知道vertica将两者视为两种不同的数据类型。
值得我们沿着这条路去调查。。。

相关问题