将一些配置单元列扩展(转换)为行(记录)

hjqgdpho  于 2021-06-26  发布在  Hive
关注(0)|答案(0)|浏览(209)

有没有一种有效的方法可以通过显示的目标转换来转换下面的配置单元表。源表中的列计数约为1500。使用spark 2.0,源和目标作为Dataframe。

(id,   dt ,       source1_ColA, source1_ColB, source2_ColA, source2_ColB)
------------------------------------------------------------

(10,"2018-06-01",   10,             9,          5,          8       )

(20,"2018-06-01",   20,             12,         16,         11      )

列a、b的转换如下表所示

(id, dt ,   element_name,  source1,  source2 )
---------------------------------------

(10,"2018-06-01",   ColA    ,     10    ,   5       )

(10,"2018-06-01",   ColB    ,      9    ,   8       )

(20,"2018-06-01",   ColA    ,     20    ,   16      )

(20,"2018-06-01",   ColB    ,     12    ,   11      )

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题