amazons3—aws管道中的pigactivity有没有办法从s3 bucket上创建的athena表中读取模式

zpf6vheq  于 2021-06-24  发布在  Pig
关注(0)|答案(0)|浏览(172)

我有很多在prem集群上运行的遗留pig脚本,我们正在尝试迁移到aws数据管道(pigactivity),并希望这些pig脚本能够从我的源数据所在的s3存储桶读取数据。在prem pig脚本上,使用hcatalog加载程序读取配置单元表模式。所以,如果我在那些s3 bucket上创建athena表,有没有一种方法可以从pig脚本中的那些athena表中读取模式?使用类似于hcatloader的加载程序?
当前:下面的代码可以工作,但我必须在pig脚本中定义模式

%default SOURCE_LOC 's3://s3bucket/input/abc'
inp_data = LOAD '$SOURCE_LOC' USING PigStorage('\001') AS 
(id: bigint, val_id: int, provision: chararray);

想要:从雅典娜的table上读

Athena table: database_name.abc (schema as id:bigint, val_id:int, provision:string)

因此,寻找如下内容:因此我不必在pig脚本中定义模式

%default SOURCE_LOC 'database_name.abc'
inp_data = LOAD '$SOURCE_LOC' USING athenaloader();

是否有一个加载实用程序来读取雅典娜?或者有没有别的办法来满足我的需要。请帮忙

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题