使用emr和hive的dynamodb ttl

iyr7buue  于 2021-06-24  发布在  Hive
关注(0)|答案(0)|浏览(168)

我有一个dynamodb表,其中包含一个大型数据集,其中包含struct和map值。createdat字符串,该字符串具有创建时间戳userid number,该字符串具有userid userdataMap,该Map具有firstname、lastname和各种其他应用程序元数据
我正试图使用外部表ddb将ttl添加到表中,但实际情况是,Map数据(即userdata值)也会随着查询一起被删除:
创建由“org.apache.hadoop.hive.dynamodb.dynamodbstoragehandler”tblproperties(“dynamodb.table.name”=“user info”,“dynamodb.column.mapping”=“createdat:createdat,userid:userid,expiration”存储的外部表ddb(createdat string,userid bigint,expiration\u time bigint)_time:expiration_time");
insert overwrite table ddb select createdat,userid,(unix\u timestamp(regexp\u replace(createdat,“^(+?)t(+?)z$”,“$1$2'))+(606024*120))from ddb where expiration\u time is null;
但此查询删除了用户数据,并且没有在过期时间内添加tll
如何解决这个问题?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题