dbt源代码(不在\字段加载\ u)基于元数据的下游表的新鲜度

i5desfxk  于 2021-07-14  发布在  Spark
关注(0)|答案(0)|浏览(141)

我用的是dbt spark。我们每天都会将一些源增量表复制到spark数据湖中。我的源表没有字段 loaded_at_field 为了确定新鲜度,我想从源delta表元数据中添加copy updated time(例如,可以使用sql命令获取源表updated time) "%sql describe detail <source_table_name>" ). 我可以在dbt中添加一个元数据查询<descripe\u detail\u source\u table\u name>作为源,但是这个源不会是我的下游表sql查询的一部分。如何将此元数据查询作为依赖项添加到下游表中?
我可以组合源表和源元数据来添加update\u date列,并使我的下游表从组合的源表中读取。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题