在pyspark中将julian日期转换为时间戳时的奇怪行为

xghobddn  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(353)

Maven们,我已经花了将近一天的时间试图弄清楚这一点,但不知道发生了什么。我们正在从源系统接收一个字段的julian数据,只需将其转换为时间戳。
我们在python2.7/spark2.2上使用下面的表达式-

from_unixtime(unix_timestamp(cast(BIRTH_DATE as string) , 'yyyyDDD'))

当我们在较低的环境(开发/qa)中测试相同的代码时,这个表达式工作得非常好
对于出生日期(朱利安日期)1975070,我们得到了正确的结果 1975-03-11 00:00:00 但是,在生产环境中运行它时,对于一个选择行,它会将结果丢失一个小时,并且很少有记录会发生这种情况。其他的填充正确。
同样的表达给我-

1975-03-10 23:00:00

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题