从hive或webhdfs运行impala刷新

4szc88ey  于 2021-06-26  发布在  Hive
关注(0)|答案(2)|浏览(303)

我正在处理imapala上的一些表,并使用jdbc配置单元驱动程序查询这些表。在提取数据之前,我需要对一些表进行刷新(或者配置impala自动运行它)。当我想跑的时候 refresh tablename 通过jdbc驱动程序,我不能(因为在hive中这个命令不存在——我想)。我试着写一个简单的 Impala 壳脚本( refresh tablename )像这样用 curl 跑 curl -i -L "http://<server>:50070/webhdfs/v1/<path to sh file>?op=OPEN" 不太管用。有人能帮我吗?谢谢!

3qpi33ja

3qpi33ja1#

请试一试

INVALIDATE METADATA databsename.tablename
f5emj3cl

f5emj3cl2#

@andisu:如果要通过impala shell进行刷新,请运行以下命令:

impala-shell -d db_NAME -q "REFRESH tablename";

-问:在处理双引号内的语句后,impala shell解释器立即退出。如果你真的刷新了,那就意味着 new data files 是您添加到表的hdfs位置的,因此这些文件的块位置元数据必须加载到impala守护进程协调器。

相关问题