我有多年的数据,想使用 date
列以添加一个附加列,该列保存周数,并随年份递增。
我知道 weekofyear()
,但我想取最低限制日期并以增量方式计算周数。
ie:两年的数据将包含 week_number
列1到104(周)。
在spark中最好的方法是什么?这是一个尝试,在一个滚动平均每周。
另外,有没有更好的方法来应用spark中从日期栏开始的最后n周的滚动平均值(每周计算)
我有多年的数据,想使用 date
列以添加一个附加列,该列保存周数,并随年份递增。
我知道 weekofyear()
,但我想取最低限制日期并以增量方式计算周数。
ie:两年的数据将包含 week_number
列1到104(周)。
在spark中最好的方法是什么?这是一个尝试,在一个滚动平均每周。
另外,有没有更好的方法来应用spark中从日期栏开始的最后n周的滚动平均值(每周计算)
1条答案
按热度按时间ioekq8ef1#
如果您不关心iso周,那么只需除以偏移量和行之间天数的7即可。例如,
然后